Анна Артамонова, віце-президент Mail.Ru Group, керівник бізнес-підрозділу «Пошта і портал»

З яким об'ємом спаму стикається «Пошта Mail.Ru»?

Кожен день наші спам-фільтри затримують і відтинають понад 100 мільйонів листів.

За допомогою яких технологій Mail.Ru бореться зі спамом?

Наша система боротьби зі спамом складається з великої кількості рівнів. Частина самих сміттєвих листів відсікається ще на дальніх підступах - це, наприклад, листи, які відправляються з IP-адрес, що входять в чорні списки (туди потрапляють IP-адреси, з яких йде постійний потік спаму).

Наступний рівень - відсічення по репутації відправника. Репутаційні методи боротьби зі спамом будуються на зворотний зв'язок від користувача (або на її відсутності - як у випадку покупки темної основи, в якій багато «мертвих» або заблокованих адрес). У нас працює складна система, що дозволяє відстежувати репутацію сервісу на основі інформації про всі розсилках, які він відправляє. Причому репутація оцінюється на основі багатьох факторів, в тому числі з урахуванням IP-адрес, доменів, контенту. Багато репутаційні системи можна обійти, змінивши IP-адреса або домен; з нашою системою такий трюк не пройде. Навіть якщо розсилки йдуть з різних доменів або IP-адрес, система все одно дізнається, хто її автор.

Ми використовуємо машинне навчання - чим більше інформації про розсилках проходить через нашу систему, тим розумніша вона стає і тим ефективніше розпізнає спроби обходу. Система обробляє величезні обсяги даних, під їх обробку та зберігання виділені сотні серверів. Завдяки запуску останніх нововведень в цьому сервісі нам вдалося знизити число скарг на спам приблизно на 20% протягом останніх трьох місяців.

Ще один шар фільтрації - контентний. Антиспам-аналітики обробляють надходить до них потік скарг на спам, з них вичленяються характерні фрагменти, на основі яких створюються сигнатури (набори фрагментів і характеристик). Після цього листа, відповідні цим сигнатурам, будуть відправлятися в спам.

Крім того, наша антиспам-система має велику базу ознак, які характерні для спаму в цілому. Цей постійно поповнюваний набір евристик застосовується для прийняття рішення. Коли приходить новий лист, з нього вичленяються набір ознак - цих самих евристик. Якщо вони сумарно приймають статистично значимий вагу, то лист блокується.

І, нарешті, останній рівень антиспам-бар'єру Mail.Ru - персональні фільтри. Кожен власник ящика має можливість відправити в спам все розсилки, які з будь-яких причин йому не подобаються. Досить пару раз натиснути кнопку «Це спам», і всі листи від цього відправника особисто для вас будуть доставлятися відразу в папку «Спам» (якщо передумаєте, то можна завжди зайти туди і натиснути «не спам» на будь-якому з листів відправника, і тоді наступне його лист прийде у вхідні).

Як боретеся зі спамом від начебто осудних сервісів?

Дійсно, якщо раніше більшість наших зусиль йшла на те, щоб відсікти однозначно спамерські листи (між собою ми називаємо це «чорний спам»), то зараз більше 70% скарг користувачів на спам надходить на листи «легальних» розсильників (теж наш внутрішній термін ) - це найчастіше досить великі і відомі компанії та сервіси, які спілкуються з клієнтами по електронній пошті. Такі розсильників зазвичай не приховують своїх офіційних адрес, не використовують для розсилки ботнети або зламані мережі, не додають в листи безглузді тексти або брудні картинки, щоб обдурити систему, однак користувачі все одно незадоволені.

Чому? Тому що ці компанії часто надсилають то, чого користувач «не замовляв» і що йому зовсім нецікаво. А оскільки email-маркетинг і зв'язок зі споживачем нині модна тема, то поштову скриньку користувача виявляється завалений листами від доброзичливців.

Візьмемо поширену ситуацію: ви замовляєте в інтернет-магазині новий MacBook, тому що на старий вилився латте з корицею. Замовлення прийшов, ви щасливі, і тут-то магазин без попередження починає засинати вас купами листів. Або, наприклад, п'ять років тому ви підписалися на розсилки форуму, а зараз вирішили, що пора вже навести порядок у вхідних і нарешті прийти до порожнього інбоксу. Але ви виявляєте, що кнопки «Відмовитися» в листі не передбачено, і для того, щоб позбутися від розсилки, потрібно зайти на форум і поставити галочку в налаштуваннях (як ніби ви пам'ятаєте пароль!). І магазин, і форум можуть бути щиро впевнені, що роблять все правильно, - а ви сприймаєте їх як злісних спамерів. При цьому кожне натискання кнопки «Це спам» впливає на репутацію розсильників. Як тільки кількість скарг перевищує критичний поріг, наша система починає блокувати листи цього відправника - і робить це до тих пір, поки він не виправить всі недоліки в своїй системі відправки листів.

Відповідно, зараз ми багато сил витрачаємо на те, щоб, по-перше, адекватно оцінити поведінку тієї чи іншої компанії (на це як раз працює система оцінки репутації), по-друге, зробити наші принципи і дії максимально прозорими для сумлінних розсильників. Для цього ми зробили « Постмастер »- перший в Рунеті і в принципі досить унікальний і в світовому масштабі сервіс, який дозволяє відправникам розсилок стежити за тим, як користувачі реагують на листи, виявляти« мертві »адреси, стежити за актуальністю баз, за ​​репутацією. Ще один корисний інструмент отримання фідбек, який ми пропонуємо розсильників, - FBL . Він також доступний через «Постмастер». Ну, і на додаток до цього, ми ведемо активну роз'яснювальну роботу - співробітники нашої антиспам-команди регулярно спілкуються з представниками компаній і розповідають, за що можуть заблокувати розсилку і як цього уникнути, на які речі потрібно звертати увагу при складанні листів і так далі. Ось ще одна корисна стаття, яку ми спеціально написали на цю тему.

Все це власні напрацювання або технології сторонніх компаній?

Як я вже говорила, значна частка рішень, які ми вживаємо в боротьбі зі спамом, - наші власні, але технології сторонніх компаній ми теж використовуємо.

Наш багаторічний партнер - це « лабораторія Касперського », Рішення якої органічно інтегровані в нашу комплексну систему в якості одного з фільтрів. Ще ми співпрацюємо з такими міжнародними гравцями, як Spamhaus і Return Path , Завдяки яким ми дізнаємося про прийомах спамерів з усього світу.

Return Path, наприклад, надають нам «чорні» і «білі» списки відправників листів, які ми також використовуємо як один з допоміжних компонентів в нашій власній антиспам-системі.

Чи реально коли-небудь перемогти спам повністю? Який обсяг роботи в цьому напрямку ще належить виконати?

У питаннях антиспаму є дві сторони: з одного боку, абсолютна захищеність сервісу від спаму і, з іншого, зручність користувача. Тобто, теоретично, можна дуже сильно закрутити гайки в Антиспамі, але тоді вивозили валідних для одержувача листів значно знизиться, а це на порядок страшніше. Тут дуже важливо витримувати баланс.

Ще, мріючи про повну перемогу над спамом, важливо не забувати, що спамери дуже винахідливі, і боротьба з ними - це нескінченна технологічна гонка. Ми налаштовуємо систему - вони винаходять методи обходу - ми ставимо нові бар'єри ...

У наших найближчих планах, наприклад, істотне вдосконалення персональних спам-фільтрів. Зараз ми працюємо над подальшим покращенням цього механізму, щоб враховувати персональні переваги і особливості поведінки людини при класифікації небажаних розсилок. По кожному користувачеві буде будуватися його власний «патерн», виходячи з якого ми будемо розуміти, чи може він, наприклад, раптом отримати лист на тайському мовою, або наскільки ймовірним є, що він сам добровільно підписався на розсилку з рекламою жіночої нижньої білизни.

Якими технологіями в боротьбі зі спамом користуються конкуренти, але не користується Mail.Ru?

Як одна з найбільших в світі поштових служб, ми аналізуємо все, що є на ринку, і намагаємося в тій чи іншій мірі інтегрувати всі відомі рішення та ідеї в нашу систему. Інше питання, що є спірні технології, які, з одного боку, дозволяють добре захиститися від спаму, але, з іншого, ускладнюють життя користувачам.

Наприклад, є політика DMARC , Яку можна налаштувати по-різному. Якщо включити жорстку політику DMARC, то пошта, надіслана не з сервера власника домену, не братиметься. Тобто, якщо ви шлёте листа зі зворотною адресою @ mail.ru з сервера nemail.ru, воно «провалить» перевірку і, як наслідок, буде заблоковано. Але ми поки такого не робимо, оскільки зворотні адреси @ mail.ru використовують і легальні відправники, які шлють листи не через наші сервери (наприклад, форуми, дрібні сайти, невеликі розсильників, а головне, користувачі, які, наприклад, налаштували себе збір пошти в поштову скриньку іншого провайдера, але хочуть відповідати від імені нашого ящика).

Однак ми плануємо провести роботу з такими відправниками, дати їм рекомендації, як правильно переналаштувати відправку своїх листів, і в підсумку жорстку політікуDMARC все ж включити. Це дозволить поліпшити захист від фішингових і шахрайських листів і підвищити рівень безпеки наших користувачів.