• Главная
  • Карта сайта
Не найдено

Як оптимізувати Robots.txt для SEO в WordPress

  1. Чи потрібен файл robots.txt?
  2. Де знаходиться файл robots.txt? Як створити файл robots.txt?
  3. Як використовувати файл robots.txt?
  4. Оптимізація файлу Robots.txt для SEO
  5. Додавання вашої XML Sitemap в файл robots.txt
  6. Як має виглядати ідеальний файл robots.txt?

В и хочете оптимізувати свій файл robots.txt в WordPress? Чи не впевнені, чому і яким чином файл robots.txt має важливе значення для вашого SEO? У цій статті розповімо вам, як оптимізувати ваш файл robots.txt на сайті WordPress для SEO і допоможемо вам зрозуміти важливість файлу robots.txt.

Останнім часом, користувачі запитують нас, чи потребують сайт в файлі robots.txt і яка важливість його? Файл robots.txt для вашого сайту грає важливу роль в загальній продуктивності і seo оптимізації вашого сайту. Це в основному дозволяє вам спілкуватися з пошуковими системами і дають їм знати, які частини вашого сайту вони повинні індексувати.

Чи потрібен файл robots.txt?

Відсутність файлу robots.txt не зупинить пошукових систем від сканування та індексування вашого сайту. Проте, настійно рекомендується створити один. Якщо ви хочете представити на вашому сайті в XML карту сайту для пошукових систем, то у файлі пошукові системи будуть шукати ваш XML Sitemap, якщо ви не вказали його в Yandex webmaster або Google Webmaster Tools.

Ми настійно рекомендуємо, якщо у вас немає файлу robots.txt на вашому сайті, то ви повинні відразу ж створити.

Де знаходиться файл robots.txt? Як створити файл robots.txt?

Файл robots.txt, як правило, знаходиться в кореневій папці вашого сайту. Вам потрібно буде підключитися до вашого сайту з використанням клієнта FTP або за допомогою файлового менеджера CPanel для його перегляду.

Він такий же, як будь-який звичайний текстовий файл, і ви можете відкрити його за допомогою звичайного текстового редактора як Блокнота.

Якщо у вас немає файлу robots.txt в кореневому каталозі вашого сайту, то ви завжди можете створити. Все, що вам потрібно зробити, це створити новий текстовий файл на вашому комп'ютері і зберегти його у файлі robots.txt. Далі, просто завантажте його в кореневу папку вашого сайту.

Як використовувати файл robots.txt?

Формат файлу robots.txt насправді досить простий. Перший рядок зазвичай називає User-Agent. Агент користувача насправді ім'я бота пошукової системи, які намагаються прочитати ваш сайт. Наприклад, Googlebot чи Yandexbot. Ви можете використовувати зірочку *, щоб проінструктувати всіх ботів.

У наступному рядку слід дозволити або заборонити інструкції для пошукових систем, щоб вони знали, які частини ви хочете, щоб індексувалися, і які з них ви не хочете індексувати.

Дивіться приклад файлу robots.txt:

User-Agent: * Allow: / wp-content / uploads / Disallow: / wp-content / plugins / Disallow: /readme.html

У цьому прикладі файл robots.txt для WordPress, ми доручили всім роботам індексувати наш каталог завантаження зображення.

У наступних двох рядках ми їм забороняємо індексувати наш каталог плагінів WordPress і файл readme.html.

Оптимізація файлу Robots.txt для SEO

У керівництві для веб-майстрів, Google радить веб-майстрам, не використовувати файл robots.txt, щоб приховати зміст низької якості. Якщо ви думаєте про використання файлу robots.txt, щоб зупинити Google індексувати категорії, дати та інші архівні сторінки, то це не може бути мудрим вибором.

Пам'ятайте, що мета robots.txt є доручити роботам, що робити з вмістом, коли вони сканують ваш сайт. Це не завадить роботам сканувати ваш сайт.

Є й інші плагіни для WordPress, які дозволяють додавати мета-теги, як NOFOLLOW і мета тег noindex в ваших сторінках архіву. Плагін WordPress SEO також дозволяє зробити це. Ми не говоримо, що ви повинні мати ваші архівні сторінки deindexed, але якщо ви хочете зробити це, то, що правильний спосіб зробити це.

Вам не потрібно додавати сторінку логіна, каталогу адміністратора або сторінку реєстрації в robots.txt, тому що логін і реєстраційні сторінки мають теги NOINDEX, які вже додані як мета-тег за допомогою WordPress.

Він рекомендується заборонити readme.html файл у файлі robots.txt. Цей файл readme може бути використаний кимось, хто намагається з'ясувати, скільки разів WordPress ви використовуєте. Якби це було фізична особа, то вони можуть легко отримати доступ до файлу, просто переглядаючи його.

З іншого боку, якщо хтось працює з шкідливими запитами, щоб знайти сайти на WordPress з використанням конкретної версії, то цей тег Disallow може захистити вас від цих масових атак.

Ви також можете заборонити ваш каталог плагінів WordPress. Це сприятиме зміцненню безпеки вашого сайту, якщо хтось шукає конкретний уразливий плагін, щоб використовувати його для масової атаки.

Додавання вашої XML Sitemap в файл robots.txt

Якщо ви використовуєте плагін Йоаст в WordPress SEO або будь - якої іншої плагін для генерації XML Sitemap, то ваш плагін буде намагатися автоматично додавати пов'язані рядки в вашому файлі Sitemap в файл robots.txt.

Однак, якщо це не вдається, то ваш плагін покаже вам посилання на XML Sitemaps , Який ви можете додати в свій файл robots.txt вручну наступним чином:

Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml

Як має виглядати ідеальний файл robots.txt?

Чесно кажучи, багато популярних блоги використовують дуже прості файли robots.txt. Їх зміст варіюються в залежності від потреб конкретного сайту:

User-agent: * Disallow: Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml

Цей файл robots.txt просто повідомляє всім роботам індексувати весь зміст і надає посилання на XML Sitemaps сайту .

Ось ще один приклад файлу robots.txt, на цей раз це той, який ми використовуємо тут на AndreyEx.ru:

User-agent: * Disallow: / cgi-bin Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / wp-trackback Disallow: / wp-feed Disallow: / wp-comments Disallow: * / trackback Disallow: * / feed Disallow: * / comments Disallow: /wp-login.php Disallow: /login.php Disallow: / wp-register .php Host: https://AndreyEx.ru User-agent: Googlebot Allow: / wp-content / plugins Allow: / wp-content / cache Sitemap: https://AndreyEx.ru/sitemap_index.xml

Це все. Ми сподіваємося, що ця стаття допомогла вам дізнатися, як оптимізувати ваш файл robots.txt для SEO. Ви також можете побачити наш путівник по 9 кращим WordPress SEO плагинам і інструментам, які ви повинні використовувати.

Якщо ви знайшли помилку, будь ласка, виділіть фрагмент тексту і натисніть Ctrl + Enter.

Txt?
Txt?
Txt?
Txt?
Txt?
Txt в WordPress?
Txt має важливе значення для вашого SEO?
Txt і яка важливість його?
Txt?
Txt?
Новости
Провайдеры:
  • 08.09.2015

    Batyevka.NET предоставляет услуги доступа к сети Интернет на территории Соломенского района г. Киева.Наша миссия —... 
    Читать полностью

  • 08.09.2015
    IPNET

    Компания IPNET — это крупнейший оператор и технологический лидер на рынке телекоммуникаций Киева. Мы предоставляем... 
    Читать полностью

  • 08.09.2015
    Boryspil.Net

    Интернет-провайдер «Boryspil.net» начал свою работу в 2008 году и на данный момент является одним из крупнейших поставщиков... 
    Читать полностью

  • 08.09.2015
    4OKNET

    Наша компания работает в сфере телекоммуникационных услуг, а именно — предоставлении доступа в сеть интернет.Уже... 
    Читать полностью

  • 08.09.2015
    Телегруп

    ДП «Телегруп-Украина» – IT-компания с 15-летним опытом работы на рынке телекоммуникационных услуг, а также официальный... 
    Читать полностью

  • 08.09.2015
    Софтлинк

    Высокая скоростьМы являемся участником Украинского центра обмена трафиком (UA — IX) с включением 10 Гбит / сек... 
    Читать полностью