1. Чи потрібен файл robots.txt?
2. Де знаходиться файл robots.txt? Як створити файл robots.txt?
3. Як використовувати файл robots.txt?
4. Оптимізація файлу Robots.txt для SEO
5. Додавання вашої XML Sitemap в файл robots.txt
6. Як має виглядати ідеальний файл robots.txt?

В и хочете оптимізувати свій файл robots.txt в WordPress? Чи не впевнені, чому і яким чином файл robots.txt має важливе значення для вашого SEO? У цій статті розповімо вам, як оптимізувати ваш файл robots.txt на сайті WordPress для SEO і допоможемо вам зрозуміти важливість файлу robots.txt.

Останнім часом, користувачі запитують нас, чи потребують сайт в файлі robots.txt і яка важливість його? Файл robots.txt для вашого сайту грає важливу роль в загальній продуктивності і seo оптимізації вашого сайту. Це в основному дозволяє вам спілкуватися з пошуковими системами і дають їм знати, які частини вашого сайту вони повинні індексувати.

Чи потрібен файл robots.txt?

Відсутність файлу robots.txt не зупинить пошукових систем від сканування та індексування вашого сайту. Проте, настійно рекомендується створити один. Якщо ви хочете представити на вашому сайті в XML карту сайту для пошукових систем, то у файлі пошукові системи будуть шукати ваш XML Sitemap, якщо ви не вказали його в Yandex webmaster або Google Webmaster Tools.

Ми настійно рекомендуємо, якщо у вас немає файлу robots.txt на вашому сайті, то ви повинні відразу ж створити.

Де знаходиться файл robots.txt? Як створити файл robots.txt?

Файл robots.txt, як правило, знаходиться в кореневій папці вашого сайту. Вам потрібно буде підключитися до вашого сайту з використанням клієнта FTP або за допомогою файлового менеджера CPanel для його перегляду.

Він такий же, як будь-який звичайний текстовий файл, і ви можете відкрити його за допомогою звичайного текстового редактора як Блокнота.

Якщо у вас немає файлу robots.txt в кореневому каталозі вашого сайту, то ви завжди можете створити. Все, що вам потрібно зробити, це створити новий текстовий файл на вашому комп'ютері і зберегти його у файлі robots.txt. Далі, просто завантажте його в кореневу папку вашого сайту.

Як використовувати файл robots.txt?

Формат файлу robots.txt насправді досить простий. Перший рядок зазвичай називає User-Agent. Агент користувача насправді ім'я бота пошукової системи, які намагаються прочитати ваш сайт. Наприклад, Googlebot чи Yandexbot. Ви можете використовувати зірочку *, щоб проінструктувати всіх ботів.

У наступному рядку слід дозволити або заборонити інструкції для пошукових систем, щоб вони знали, які частини ви хочете, щоб індексувалися, і які з них ви не хочете індексувати.

Дивіться приклад файлу robots.txt:

User-Agent: * Allow: / wp-content / uploads / Disallow: / wp-content / plugins / Disallow: /readme.html

У цьому прикладі файл robots.txt для WordPress, ми доручили всім роботам індексувати наш каталог завантаження зображення.

У наступних двох рядках ми їм забороняємо індексувати наш каталог плагінів WordPress і файл readme.html.

Оптимізація файлу Robots.txt для SEO

У керівництві для веб-майстрів, Google радить веб-майстрам, не використовувати файл robots.txt, щоб приховати зміст низької якості. Якщо ви думаєте про використання файлу robots.txt, щоб зупинити Google індексувати категорії, дати та інші архівні сторінки, то це не може бути мудрим вибором.

Пам'ятайте, що мета robots.txt є доручити роботам, що робити з вмістом, коли вони сканують ваш сайт. Це не завадить роботам сканувати ваш сайт.

Є й інші плагіни для WordPress, які дозволяють додавати мета-теги, як NOFOLLOW і мета тег noindex в ваших сторінках архіву. Плагін WordPress SEO також дозволяє зробити це. Ми не говоримо, що ви повинні мати ваші архівні сторінки deindexed, але якщо ви хочете зробити це, то, що правильний спосіб зробити це.

Вам не потрібно додавати сторінку логіна, каталогу адміністратора або сторінку реєстрації в robots.txt, тому що логін і реєстраційні сторінки мають теги NOINDEX, які вже додані як мета-тег за допомогою WordPress.

Він рекомендується заборонити readme.html файл у файлі robots.txt. Цей файл readme може бути використаний кимось, хто намагається з'ясувати, скільки разів WordPress ви використовуєте. Якби це було фізична особа, то вони можуть легко отримати доступ до файлу, просто переглядаючи його.

З іншого боку, якщо хтось працює з шкідливими запитами, щоб знайти сайти на WordPress з використанням конкретної версії, то цей тег Disallow може захистити вас від цих масових атак.

Ви також можете заборонити ваш каталог плагінів WordPress. Це сприятиме зміцненню безпеки вашого сайту, якщо хтось шукає конкретний уразливий плагін, щоб використовувати його для масової атаки.

Додавання вашої XML Sitemap в файл robots.txt

Якщо ви використовуєте плагін Йоаст в WordPress SEO або будь - якої іншої плагін для генерації XML Sitemap, то ваш плагін буде намагатися автоматично додавати пов'язані рядки в вашому файлі Sitemap в файл robots.txt.

Однак, якщо це не вдається, то ваш плагін покаже вам посилання на XML Sitemaps , Який ви можете додати в свій файл robots.txt вручну наступним чином:

Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml

Як має виглядати ідеальний файл robots.txt?

Чесно кажучи, багато популярних блоги використовують дуже прості файли robots.txt. Їх зміст варіюються в залежності від потреб конкретного сайту:

User-agent: * Disallow: Sitemap: http://www.example.com/post-sitemap.xml Sitemap: http://www.example.com/page-sitemap.xml

Цей файл robots.txt просто повідомляє всім роботам індексувати весь зміст і надає посилання на XML Sitemaps сайту .

Ось ще один приклад файлу robots.txt, на цей раз це той, який ми використовуємо тут на AndreyEx.ru:

User-agent: * Disallow: / cgi-bin Disallow: / wp-admin Disallow: / wp-includes Disallow: / wp-content / plugins Disallow: / wp-content / cache Disallow: / wp-content / themes Disallow: / wp-trackback Disallow: / wp-feed Disallow: / wp-comments Disallow: * / trackback Disallow: * / feed Disallow: * / comments Disallow: /wp-login.php Disallow: /login.php Disallow: / wp-register .php Host: https://AndreyEx.ru User-agent: Googlebot Allow: / wp-content / plugins Allow: / wp-content / cache Sitemap: https://AndreyEx.ru/sitemap_index.xml

Це все. Ми сподіваємося, що ця стаття допомогла вам дізнатися, як оптимізувати ваш файл robots.txt для SEO. Ви також можете побачити наш путівник по 9 кращим WordPress SEO плагинам і інструментам, які ви повинні використовувати.

Якщо ви знайшли помилку, будь ласка, виділіть фрагмент тексту і натисніть Ctrl + Enter.