1. Вступ У разі втрати позиції по одному або декільком просуваються пошуковим запитам, важливо швидко...
2. ТОП-2: сильна фільтрація сайту / документа #
3. ТОП-3: афільованість сайтів [4] #
4. ТОП-4: зміна CMS або структури URL на сайті #
5. ТОП-5: зміна типу пошукового запиту і / або алгоритму пошукової системи #
6. ТОП-6: віруси на сайті #
7. ТОП-7: Фільтр на однакові сніппети #
8. ТОП-8: некоректність файлу robots.txt або meta-тегів #
9. ТОП-9: Інші небезпеки #
10. ТОП-10: Санкції за накрутку ПФ #
11. З чого слід починати будь-який аналіз
12. Список посилань і літератури #

Вступ

У разі втрати позиції по одному або декільком просуваються пошуковим запитам, важливо швидко і правильно діагностувати причину такого випадання. Тільки після діагностики можна призначити «лікування» для кожного пошукового запиту окремо і повернути сайт на лідируючі позиції Яндекса і Google.

У ряді випадків (навіть в один апдейт видачі Яндекса) можуть бути знайдені відразу кілька істотних причин, що заважають сайту продовжувати займати лідируючі позиції в ТОП-10 (ТОП-20) видачі. Саме тому, не завжди можна одноваріантного відповісти на питання «Чому мій сайт випав з ТОПу такого-то числа?».

Далі виклад буде вестися виходячи з того, що просувний сайт вже знаходився приблизно в ТОП-20 видачі по потрібних запитом і несподівано повністю пропав (випав на соті місця, ТОП-100). Давайте спробуємо зробити систематичний виклад найбільш популярних (іноді і очевидних) для цього причин.

Сайти з вторконтентом, просто божевільною кількістю заважає реклами і дорвеи в розгляд братися не будуть. Інтерес представляють саме комерційні сайти, створені для людей.

Часті причини: індексація, сильна фільтрація документів, афільованість групи сайтів, зміна CMS

ТОП-1 #

ТОП-1 нашого імпровізованого рейтингу «Причини випадання» займає індексація що просувається документа.

Симптом: сайт різко випадає або втрачає позиції зі зміною релевантної сторінки. Позиції губляться на всі запити, провідним на сторінку.

Перевірка: для перевірки індексації документа в пошуковій системі Яндекс досить ввести наступний запит: [url: site.ru/catalog/page.php]. Якщо видача порожня, значить, що просувається документ випав з видачі та в першу чергу потрібно повернути його в індекс пошукової системи [1]. В даному випадку можна просто почекати наступного апдейта видачі.

(!) Важливо: правильно вводите URL документа, результат буде відрізнятися для доменного імені, введеного з www і без, з слешем на кінці і без.

(!) Порада: швидкої індексації документа може істотно посприяти постановка кількох посилань з індексується соціальних медіа, таких як Twitter, FaceBook, LiveJournal і інших (див. Малюнок 1).

Малюнок 1. Найбільш свіжі результати за запитом [просування сайту самостійно] в Яндексі. Їх поява зобов'язана існуванню швидкого робота і окремої бази, призначеної окремо для свіжих документів.

(!) Порада: здійсните пошук по сайту по потрібних пошуковому запиту. В даному випадку допоможе запит виду: [просувний-запит site: domain.ru]. Цікавий документ повинен бути на 1 сходинці у видачі. Якщо його немає серед релевантних відповідей, то це також свідчить про випаданні його з індексу.

ТОП-2: сильна фільтрація сайту / документа #

Найбільш часто зустрічаються текстові фільтри (описані в сусідній статті) рідко можуть вибити комерційний сайт з ТОП-10 відразу на соті місця [2]. В даному випадку особливу увагу слід приділити можливим сильним фільтрації, таким як Adult-фільтр [3] і АГС.

Симптом Adult-фільтра: сайт майже повністю втрачає входить пошуковий трафік. На нормальних позиціях у видачі залишаються тільки запити «дорослого характеру». Веб-сайт не ранжируется навіть по шматках унікального тексту. Трафік з інших пошукових систем при цьому залишається на приблизно постійному рівні.

Симптом фільтра АГС: з видимої частини індексу пошукової системи випаде ряд змістовних сторінок сайту (старі версії АГС) або обнуляється значення показника тИЦ (нові версії). Читайте також: " Як відрізнити сайт під АГС від сайту з тІЦ = 0 ».

Перевірка Adult-фільтра:

• за запитом виду [site: domain.ru] кількість документів залишилося на колишньому рівні;
• веб-сайт не ранжируется навіть за унікальними фрагментами тексту зі сторінок в індексі [url: domain.ru/dir/page.html];
• трафік з Яндекса за статистикою падає в 2-30 разів;
• трафік з інших пошукових систем залишається на колишньому рівні;
• якщо ввести запит щодо дорослого змісту, позиція сайту залишиться незмінною.

Перевірка АГС:

• за запитом виду [host: site.ru] кількість документів в видачі не більше 100 (старі версії АГС);
• кількість сторінок в індексі інших пошукових систем залишилося на старому рівні і значно перевищує 30 (при їх наявності на сервері, звичайно);
• у сайту обнулилося значення показника тИЦ і перевірка на АГС підтверджує наявність фільтра .

Діагностувавши, яка саме санкція була застосована до вашого сайту, ви зможете направити всі сили саме на її усунення.

(!) Важливо: у випадку з Adult-фільтром причиною може бути розміщена на сайті тізерна мережу або партнерка з «сумнівними» матеріалами. Іноді вам вистачить і єдиною посилання на «дорослий» сайт, щоб привернути увагу фільтра.

(!) Важливо: в разі АГС причиною служить вміст низької якості, дубльований контент, продаж посилань. Особливо схильні до АГС молоді проекти.

(!) Порада: якщо ви сильно втратили в трафіку або в кількості сторінок у видачі, то можете сміливо писати ввічливе лист в технічну підтримку Яндекса для уточнення можливих причин. За обома вищепереліченим фільтрам співробітники підтримки періодично підказують можливі причини накладення санкцій (хоча і шаблонним чином).

(!) Порада: під АГС можна загнати і непоганий клієнтський сайт, якщо бездумно плодити статті. Бажано, щоб кожен доданий на сайт матеріал ніс смислове навантаження (вирішував будь-яку задачу користувача) і був оптимізований під 2-3 низькочастотних цільових пошукових запиту.

ТОП-3: афільованість сайтів [4] #

У 2011-2014 роках Яндекс більш серйозно взявся за проблему аффілірованності двох і більшого числа сайтів однієї тематики (сайтів, що належать одній компанії). В результаті чого, ряд сайтів раніше успішно уживаються одночасно в ТОП-10 або ТОП-20 видачі - втратили свої позиції.

Симптом: сайт різко випадає з ТОП-100 видачі за запитом або деяким запитам. Іноді, позиції можуть змінювати стрибком на протязі декількох апдейтів поспіль (5 місце - немає в сотні - 4 місце - немає в сотні - ...).

При аффілірованності двох і більшого числа сайтів - у видачі по кожному запиту залишається тільки один, як правило, більш релевантний запитом. Решта аффіліатов ховаються або істотно занижуються в займаних ними позиціях [4].

Перевірка: щоб зрозуміти, що ваш сайт був визнаний афільованим з іншими, досить зробити наступну послідовність дій:

• задати пошуковий запит, по якому ваш сайт був в ТОП-10 видачі до цього;
• послідовно виключити з видачі кожен з сайтів в ТОП-20 і простежити за видачею (див. рисунок 2). Запит виду: [просувний-запит ~~ site: domainN.ru];
• якщо ви виключили один із сайтів і ваш проект тут же почав ранжуватися високо (з'явився в ТОПі), то це означає, що виключений домен і ваш - є афіліатом;
• для впевненості, краще виконати процедуру і для інших просуваються фраз.

Автоматизація діагностики: доступна в відповідному інструменті «Піксель Тулс» .

Малюнок 2. Приклад продукту, що просувається пошукового запиту і послідовне виключення підозрілих на афільованість доменів для пошуку свого проекту.

(!) Важливо: не забувайте, що афілійованих сайтів може бути кілька і по різним запитам різні домени можуть заважати вам у видачі.

(!) Порада: можна різко звузити коло підозрілих доменів, якщо порівняти видачу за двома і більшій кількості запитів і виявити сайти, присутні і там і там. Іноді це допоможе звузити «коло претендентів» до 1-2 штук.

(!) Порада: афільованість в більшості випадків накладається автоматично. Тобто і зняти її можна без звернення до служби підтримки - усунувши всі можливі причини. Пересічні контактні дані, тексти, зображення, IP-адреса хостингу, схожість назв компаній та доменних імен і інші фактори. Дійте!

ТОП-4: зміна CMS або структури URL на сайті #

Випадання може статися в разі зміни URL-структури на сайті. Потрібно найбільш оперативно налаштувати 301-редіректи [11]. На відміну від простого випадання документа з індексу, тут можуть бути деякі нюанси: поточний просувний URL може перебувати в індексі пошукової системи (пункт 1), в той час як старий URL буде віддавати 404 помилку.

Симптом: ви недавно міняли CMS або деякі з URL просуваються сторінок, після чого (5-30 днів) позиції з цілої низки запитів різко погіршилися.

Перевірка: обов'язково відвідайте панель Вебмастера [8]. Сайт> Індексування сайту> Виключені сторінки> HTTP-статус: Ресурс не найден (404) (див. Рисунок 3). Якщо серед списку ви знайшли URL адреси раніше знаходяться в ТОПі - це воно.

Малюнок 3. Пошук списку сторінок на сайті, що віддають 404-помилку. Для кожної сторінки потрібно вжити заходів: налаштувати 301-редирект, прибрати посилання, що ведуть на сторінку, або закрити документ від індексації.

(!) Важливо: при зміні URL-структури завжди налаштовуєте 301-редірети [11], це допоможе уникнути випадінь і збереже раніше накопичену кількість посилань і вік документа.

(!) Порада: відвідуйте вкладку виключених сторінок не рідше ніж раз на 2-4 тижні. Часто, природні посилання можуть вести на неіснуючі сторінки виду «site.ru/.» Або «site.ru/-». Налаштування сервера дозволить перетворити цю кількість посилань в працюючу на благо ресурсу.

З того, що зустрічається трохи рідше: зміна типу пошукового запиту і алгоритму, віруси, фільтр на однакові сніппети (картки), інші небезпеки

ТОП-5: зміна типу пошукового запиту і / або алгоритму пошукової системи #

Кожен запит, який вводять в сучасну пошукову систему проходить певну класифікацію. Це означає, що в залежності від певних характеристик запиту - він буде по-різному оброблятися пошукачем.

(!) Важливо: Для різних класів запитів - застосовуються різні формули. Ряд чинників - також беруть відмінні значення для запитів різної класифікації.

Повністю зрозуміти і проаналізувати, як пошукова машина класифікує той чи інший запит для рядового користувача - не представляється можливим. Але отримати деякі характеристики (по поведінці пошукової системи) і застосовуючи логіку - можливо.

(!) Важливо: Базова характеристика запиту - його геозалежні (геонезавісімость) [5].

Очевидно, що в разі зміни класифікації запиту з геозалежні на геонезавісімий (і навпаки) - змінюється формула ранжирування, і позиції сайтів в ТОПі змінюватися кардинально. Схожі зміни можуть спостерігатися і в разі зміни алгоритму ранжирування Яндекса.

Симптом: сайт по просувається запиту різко змінює займану позицію.

Перевірка: щоб відрізнити зміна класифікації пошукового запиту і зміну алгоритму від інших причин, потрібно зробити наступну послідовність дій:

• перевірити поточний тип запиту (геозалежний він чи ні) [6];
• якщо відомо, який тип запиту був у нього до апдейта і він змінився в найближчий апдейт - значить, причина криється в цьому;
• якщо немає: перевірити і виписати ТОП документів по цікавого запитом;
• порівняти цей список зі списком сайтів, що знаходяться там до випадання (в попередню дату);
• провести аналіз: якщо ТОП змінився вкрай сильно (більш 5-10 нових сайтів на лідируючих позиціях, сильна тряска) - значить, відбулася зміна алгоритму або типу пошукового запиту;
• провести аналіз: якщо зміни носять локальний характер - випало 1-2 сайту, серед яких виявився ваш - причина криється в чомусь іншому.

(!) Важливо: намагайтеся завжди аналізувати видачу комплексно, а не моніторити тільки зрушення одного проекту. Це дозволить скласти більш правильно уявлення про апдейте. У цьому допоможе власна система моніторингу видачі або сторонній сервіс [7].

ТОП-6: віруси на сайті #

Кожен з вебмайстрів повинен піклуватися про просувається їм сайті. Причиною випадання проекту може стати наявність шкідливого коду на сайті укупі з тривалим ігноруванням цього факту.

Рекомендується періодично переглядати видачу руками на наявність спеціальної позначки сторінки в результатах пошуку Яндекса і найбільш оперативно реагувати на проблему. Спеціальні оповіщення про зараження приходять також користувачам, що підтвердив права на сайт в панелі Вебмастера [8].

(!) Важливо: ігнорування спеціальної позначки в результатах пошуку надзвичайно негативно позначається на позиціях, так як у документа істотно знижуються значущі поведінкові фактори, такі як CTR за запитом, загальна кількість кліків і інші.

(!) Важливо: дотримуйтесь елементарних правил безпеки. Не зберігайте паролі в FTP-клієнтах, не використовуйте стандартні і популярні паролі, періодично міняйте доступи.

(!) Порада: оптимально усувати проблему зараження ще на тому етапі, коли позначка у видачі не встигла з'явитися. Це можливо, якщо регулярно відвідувати сайт з включеним антивірусом, стежити за кількість сторінок у видачі та незапланованими змінами файлів на сервері (js, php, .htaccess).

ТОП-7: Фільтр на однакові сніппети #

Пошукові системи сильно дбають про свою видачу, її повноті і різноманітності. Користувач повинен бути задоволений результатами за своїм запитом, навіть якщо ввів вельми неоднозначний пошуковий запит. Яндекс вирішує цю задачу трьома основними прийомами:

• Пошукова технологія «Спектр», впроваджена в грудні 2010 року [9]. «Спектр» спрямований на різноманітність результатів видачі по неоднозначним пошуковим запитам.
• Приховування пропозицій товарів і послуг від «схожих» або однакових компаній (афільованість, див. Пункт 3).
• Фільтр на однакові сніппети: приховування результатів, які з тих чи інших причин містять повторюваний сниппет (текстовий опис, анонс), див. Малюнок 4.

Малюнок 4. Висновок повного списку релевантних сайтів з додавання параметра & rd = 0 в URL дозволяє перевірити - чи потрапив просувний сайт під фільтр Яндекса на однакові сніппети чи ні.

Фільтр на однакові сніппети найбільш часто зустрічається при просуванні конкретних товарних позицій інтернет-магазинів. Якщо анонс вашого документа повністю або майже повністю дублює анонс іншого сайту, то один з результатів буде прихований для користувачів. Відобразити все релевантні сайти можна, якщо натиснути на посилання «Показати все без винятку» після останнього результату або дописати в кінці URL: & rd = 0.

Симптом: сайт втрачає позицію по одному або кількох товарних запитам.

Перевірка: при цьому, позиції сильно поліпшуються, якщо переглянути видачу з параметром & rd = 0 в URL або натиснути на посилання «Показати все без винятку».

(!) Важливо: фільтр накладається, якщо опис товарів або його характеристики не є чимось унікальним. І не унікальна фраза бере участь у формуванні сниппета. При цьому ваш сайт не зізнається Яндексом автором контенту.

(!) Порада: якщо потрапили під фільтр, добийтеся унікальності додаткового опису товару. Заповніть meta-тег description привабливим і не спамние вмістом. Допишите на початку картки 2-3 унікальні пропозиції з вмістом ключової фрази.

(!) Порада: далеко не завжди 100% унікальність тексту на сторінці дасть вагомий плюс в ранжируванні картки товару. Але, щоб не потрапити під фільтр (а в пошуковій системі Google це може бути і Панда [10]), рекомендується додати на сторінку унікальне вміст: анонс, відгуки, огляди, розширені дані про продукт.

ТОП-8: некоректність файлу robots.txt або meta-тегів #

Часто причиною різкої втрати позиції може бути некоректне зміст файлу robots.txt, який відповідає на сканування сайту павуками пошукових систем, а також наявність meta-тега robots, що забороняє індексацію документа.

Те що сторінка дозволена до індексації, можна перевірити за допомогою сервісу ADD URL в Яндексі [1], просто ввівши цікавить адреса в форму, якщо документ заборонений до індексації за допомогою файлу robots.txt або meta-тега, то виведеться попередження свідчить про це (рисунок 5).

Малюнок 5. Висновок повідомлення «Зазначений URL заборонений до індексації у файлі robots.txt» при додаванні документа в сервіс ADD URL Яндекса.

Приклад коректно складеного файлу:

User-Agent: Yandex
Disallow: / papku-ne-nado-indeksirovat
Disallow: *? I-etot-get-parametr = *
Host: www.pixelplus.ru
User-Agent: *
Disallow: / papku-ne-nado-indeksirovat
Disallow: *? I-etot-get-parametr = *

Додатково варто перевірити наявність і коректність атрибута rel = "canonical" тега <link>. Його потрібно використовувати, якщо на сайті є два і більше URL-адрес, за якими виявляється доступний один і той же документ. скажімо:

• https://pixelplus.ru/samostoyatelno/stati/
• https://pixelplus.ru/samostoyatelno/stati/?from-email
• https://pixelplus.ru/samostoyatelno/stati-po-seo/

Тоді, щоб уникнути наявності дублів в індексі, на всій групі однакових сторінок встановлюється тег, який вказує основну адресу (канонічний). Якщо атрибут зазначений некоректно, то це може привести до випадання потрібних документів з індексу. Приклад тега:

<Link rel = "canonical" href = "https://pixelplus.ru/samostoyatelno/stati/" />

ТОП-9: Інші небезпеки #

Вище були розглянуті найбільш часті причини випадіння комерційних сайтів з ТОП-10 лідируючої пошукової системи рунета - Яндекса. Але в ряді випадків, SEO-фахівця можуть подстегать і більш рідкісні небезпеки. Звертати на них увагу можна, якщо жоден з описаних вище прийомів перевірки не спрацював.

Просто перерахуємо їх, щоб далі читач розумів, куди можна рухатися в разі невдачі:

• Зміна регіональної прив'язки сайту. При ранжируванні по геозалежних пошуковим запитам пошукова система Яндекс звертає пильну увагу на збіг регіону користувача і регіональної прив'язки сайту. Якщо в якийсь момент у вас змінилася ця прив'язка - це стане причиною істотного зміни займаних позицій. Важливо відстежувати прив'язку в панелі Вебмастера (Сайт> Географія сайту> Регіон сайту) і періодично перевіряти, що все в порядку.
• Випадання сайту в результаті перерахунку категорій відповідей в пошуковій технології «Спектр». Потрібно зрозуміти, чи міг виводитися ваш сайт, як домішка по одній з додаткових категорій відповідей «Спектра».
• Дублі сторінок в рамках одного сайту. У разі нормально настройки роботи сайту (CMS і хостингу) цієї проблеми можна повністю уникнути, проте в більшості випадків, за різними URL адресами в рамках одного сайту - віддається однаковий вміст. Одного разу це може сильно відгукнутися, якщо в індекс потрапить відразу кілька повних копій продукту, що просувається документа. Для перевірки здійснюйте пошук унікального фрагмента тексту в рамках сайту. Тут допоможе пошуковий запит наступного виду: [ "унікальний_текст_со_страніци" site: host.ru].
• Ваш ресурс містить надмірну кількість неунікальний текстів, це може позначитися і на позиціях сторінок, які містити унікальний матеріал.
• На сайті розміщено Popunder або нав'язлива реклама відкривається при кліці користувача.
• Зміна доменного імені : Потрібно чітко дотримуватися послідовність дій. Спочатку вказуємо головне дзеркало в robots.txt в директиві Host і тільки після склейки / переклеювання ставимо 301-редирект, а не навпаки!

ТОП-10: Санкції за накрутку ПФ #

У 2014 і 2015 роках, багато сайтів стали піддаватися санкціям за накрутку клікових поведінкових факторів .

За запевненням представників пошукової системи Яндекс під песимізація потрапили кілька тисяч сайтів, які мали відношення до накрутці і маніпуляції дій користувачів.

При цьому, сама санкція є дуже сильною і тривалою - від 6 календарних місяців. Для діагностики факту накладення санкцій за накрутку ПФ - рекомендується написати відповідне питання в службу підтримки Яндекса. Також, рекомендуються такі дії для зняття санкцій, в залежності від терміну їх застосування: відповідь на питання .

З чого слід починати будь-який аналіз

Пам'ятайте, аналіз причини потрібно починати з повноцінної оцінки ТОПу і порівняно видачі до і після апдейта . Це дозволить вам швидко відокремити локальні зрушення (зміна позиції 1-3 сайтів) від глобального апдейта алгоритму / класифікації запиту і суттєво звузити коло можливих причин.

Список посилань і літератури #

1. Повідомити про новий сайт, Яндекс, http://webmaster.yandex.ru/addurl.xml
2. Текстові фільтри Яндекса : Давайте розрізняти, 19 листопада 2012.
3. Пошук Яндекса і контент для дорослих, 29 червня 2009, http://company.yandex.ru/rules/filtration/
4. Що таке афілійовані сайти ? Як афільованість двох сайтів позначається на займаних ними позиціях, 2011 року.
5. Пошук з урахуванням регіону, http://company.yandex.ru/technologies/regions/
6. Сервіс SEO hint 2012, http://seohint.ru/
7. Сервіс MegaIndex 2009, https://www.megaindex.ru/?tab=wordAnalyze&do=wordAnalyze
8. Панель Вебмастера від Яндекса, http://webmaster.yandex.ru/
9. Спектр 2010, http://company.yandex.ru/technologies/spectrum/
10. Нам не страшний злий Пінгвін 2012, http://www.seonews.ru/analytics/detail/125096.php
11. Як правильно зробити 301-редирект .