1. Чорні списки доменів
2. Сервіси безпечного пошуку Яндекса і Google
3. Агрегатор VirusTotal
4. база Роскомнадзора
5. Проблеми сайтів з чорних списків
6. Причини потрапляння в чорні списки
7. Як видалити сайт з чорного списку
8. Як уникнути блокувань

UPD: 11 декабря ми оновили модуль Revisium Antivirus в ISPmanager. Тепер він називається ImunifyAV і встановлюється за умовчанням. Щоб спробувати, поновіть панель до версії 5.182.0. Детальніше.

На початку червня в ISPmanager з'явився новий антивірус від "Ревізіум" . Одна з його можливостей - перевірка репутації домену по чорних списків. Керівник відділу безпеки сайтів "Ревізіум" Григорій Земсков розповідає про те, що таке чорні списки, як потрапляння в них впливає на відвідуваність сайту і як захистити репутацію ресурсу.

Зазвичай репутацію домену сайту або IP-адреси сервера розглядають в контексті роботи пошти: коли оцінюють наскільки безпечні листи від певного поштового домену або сервера і чи не є вони спамом. Але насправді значення поняття "репутація" набагато ширше. У загальному випадку воно означає ступінь довіри до домену з точки зору безпеки.

Чорні списки доменів

Результати перевірки сайту з проблемами безпеки в сервісі VirusTotal

Репутацію доменів відстежують пошуковики, браузери і антивіруси, щоб попереджати своїх користувачів про перехід на підозрілий сайт. Інформацію вони черпають з чорних списків - баз небезпечних доменів і IP-адрес. Логіка така: якщо сайт потрапив в чорний список, значить, він містить загрозу. Тобто у всіх сайтів з чорних списків були (є) проблеми безпеки і, як наслідок, погана репутація.

Списки небезпечних сайтів ведуть багато антивірусні сервіси та онлайн-сервіси. Вони заносять туди ресурси, які поширюють віруси або шкідливий код, розміщують фішингові сторінки, перенаправляють відвідувачів на небезпечні сторінки тощо. Нижче розглянемо найавторитетніші джерела для перевірки доменів.

Сервіси безпечного пошуку Яндекса і Google

Яндекс і Google ведуть свої бази підозрілих і небезпечних доменів: Yandex Safe Browsing і Google Safe Browsing . Ці бази формуються в результаті сканування проіндексованих сайтів антивірусних ботом.

Бот перевіряє сайт на фішинг, приховані перенаправлення, завантаження вірусного коду або небезпечних файлів. Якщо виявляє загрозу, то домен потрапляє в чорний список пошукової системи. Після цього він може виявитися в чорному списку одного або декількох антивірусних сервісів.

Домени в чорний список необов'язково належать зловмисникам. У цей список може потрапити, наприклад, сайт інтернет-магазину або корпоративний портал компанії, які постраждали від злому і стали поширювати шкідливий код.

Через безпечний пошук Яндекса репутацію сайту перевіряють Opera і Firefox (російські редакції), а також яндекс.браузер. Через безпечний пошук від Google - Chrome, Firefox і Safari. Браузери обмежують серфінг по сайтах, які "забанив" пошуковик.

Про попадання в чорний список пошукових систем можна дізнатися, наприклад, з панелі вебмастера Яндекса або консолі Google , Якщо заздалегідь додати в них сайт.

Агрегатор VirusTotal

VirusTotal - це агрегатор інформації про віруси і небезпечні сайти. У нього стікаються дані від 67 сервісів, серед яких Kaspersky, Dr.Web, ESET, Trustwave, CleanMX, PhishLab і ін. Ці сервіси самі вивантажують свої бази з питань загроз і заражень в загальну базу VirusTotal. Тому, якщо домен або IP-адреса виявиться в чорному списку хоча б одного з цих 67 антивірусних сервісів, про це дізнаються всі, хто використовує базу VirusTotal.

Через VirusTotal зручно перевіряти статус домену в різних антивирусах. З його допомогою можна швидко виявити блокування сайту конкретним антивірусом, щоб врятувати репутацію домену.

база Роскомнадзора

Реєстр заборонених сайтів Роскомнадзора містить інформацію про всі сайтах, які порушують закони РФ. Інтернет-провайдери зобов'язані блокувати всі сайти з цього реєстру.

Роскомнадзор додає в базу не тільки домени, але і IP-адреси. Тому заблокованим може виявитися найбезпечніший сайт - якщо йому дістався забанені IP. Так буває, коли сайт розміщений на віртуальному хостингу з таким, що порушує закон ресурсом, або коли його серверу присвоєно IP-адресу, який потрапив під блокування раніше. Часто від блокувань Роскомнадзора страждають ні в чому не винні користувачі безкоштовних тарифів Cloudflare.

Проблеми сайтів з чорних списків

Падіння трафіку після потрапляння домену під санкції пошукової системи

Основна проблема сайту, який потрапив в чорний список - це обмеження доступу до нього, і, як наслідок, різке падіння трафіку. Причин цього кілька:

1. Якщо на сайт накладає санкції пошукова система, то про трафік з пошуку можна забути. У результатах пошуку сайт позначається як "загрожує безпеці комп'ютера або мобільного пристрою". У деяких випадках пошуковики знижують сайт у видачі або навіть виключають його з видачі для мобільних пристроїв.
2. У браузерах, які використовують Safe Browsing API (Google Chrome, яндекс.браузер, Opera, Firefox і Safari), при переході на забанені пошукачем сайт видається червоний екран блокування і попередження про віруси або шахрайстві.
3. Якщо сайт забанили антивірусом, то при спробі користувачів з тим же антивірусом відкрити його, проактивний захист буде попереджати про загрозу безпеці або зовсім блокувати доступ.

Крім втрати трафіку, попадання в вірусні бази загрожує репутації компанії-власника. Попередження про те, що сайт шахрайський і загрожує безпеці, швидше за все залишить негативне враження про мене, а інформація про блокування може швидко поширитися по соцмережах.

Причини потрапляння в чорні списки

Попередження про перехід на сайт з поганою репутацією

Причин включення в чорні списки не так багато:

Злом і зараження. Через уразливості в коді хакер або атакуючий бот може завантажити на сайт шкідливий код: для редиректу, крадіжки даних або поширення вірусів. Сайт почне загрожувати безпеці користувача, пошукові системи і антивіруси швидко це виявлять і обмежать доступ.

Скарга відвідувача. Відвідувач сайту може поскаржитися на протиправний контент, недобросовісну рекламу або загрозу безпеці. Для цього на сайтах антивірусних компаній передбачені спеціальні форми. Якщо загроза підтвердиться, порушник потрапить в "бан".

Санкції наглядових органів. Якщо на сайті є протиправний контент, він може потрапити в базу Роскомнадзора - за рішенням суду, Генпрокуратури або самого Роскомнадзора. Протягом доби всі російські інтернет-провайдери обмежать доступ до нього для всіх клієнтів.

Блокування за спам. Якщо з сайту або сервера йде спам-розсилка, то домен і IP-адреса сайту потрапляють в бази SpamCop, SPAMHAUS і інших сервісів. Тоді листи, що йдуть з домену, потрапляють в папку "спам" або зовсім не доходять до адресата.

Спам з сайту може йти не тільки через злом сервера, але і при масових реєстраціях ботів з поштовими повідомленнями (наприклад, реєстрації на форумі). Або через уразливість в скрипті, яка дозволяє відправляти повідомлення довільним одержувачам без авторизації (як свого часу було в CMS Joomla в рекомендаційному компоненті VirtueMart).

Як видалити сайт з чорного списку

Якщо домен або IP-адреса потрапила під санкції, процес видалення з чорних списків може займати від доби до декількох тижнів.

Швидше за все відбувається виключення сайту з чорного списку Google: зазвичай добу, якщо до сайту були застосовані ручні санкції.

Трохи довше процес у Яндекса. Виняток сайту з списку санкцій може займати від двох днів до двох тижнів. Крім автоматичного запиту в разі Яндекса має сенс відправити ще й запит на розблокування через форму зворотного зв'язку.

Найдовше виводити сайти з чорних списків антивірусних сервісів. В деякі з них (особливо це стосується маловідомих і нових) сайт може потрапити помилково, наприклад, в результаті так званого помилкового спрацьовування. Якщо у сервісу не передбачений автоматичний висновок домену з "бана", то доведеться відправляти заявку, а її розгляд може затягнутися на кілька тижнів.

Для виключення сайту з чорного списку пошукових систем виконайте три кроки:

1. Усунути причину санкцій (джерело проблеми).
2. Додати сайт в панель Вебмастера Яндекса або Google Webmaster Console.
3. Відправити запит на зняття санкцій через панель.

Якщо сайт потрапив в чорний список в результаті автоматичної перевірки і проблема усунена, то сайт автоматично виключається зі списку шкідливих протягом декількох днів. Якщо ж санкції ручні, то процес відновлення репутації може зайняти кілька тижнів.

Для виключення сайту з чорного списку антивірусів необхідно скористатися формою заявки на їх сайті. Зазвичай заявка подається англійською мовою. Необхідно коротко описати суть звернення і відзначити, що домен сайту помилково потрапив в базу шкідливих. Якщо в формі можна вибрати тип звернення, то варто вказати "False Positive".

Приклад заявки на виключення сайту з чорного списку

Як уникнути блокувань

Уникнути блокувань домену, врятувати його репутацію або хоча б знизити ймовірність попадання сайту в чорний список допоможе моніторинг безпеки. Його завдання - виявити проблему раніше бота пошукової системи або антивірусного сервісу. Якщо проблема виявлена, фахівець зможе швидко її усунути і, таким чином, уберегти сайт від попадання в "бан".

Більш надійний варіант - подбати про безпеку сайту заздалегідь: встановити технічні засоби захисту від веб-атак і злому, опрацювати організаційні заходи захисту і техніку безпеки при роботі з сайтом. Все це краще робити за участю фахівців з безпеки.

Простіший варіант - модуль Revisium Antivirus для ISPmanager Lite (з версії 5.155). Він може автоматично перевіряти на зараження і санкції. Є платна і безкоштовна версії.