Читання по губах, як відомо, часто використовується глухими і слабочуючими людьми для спілкування з іншими членами суспільства. Навчити такого навику непросто і займає багато часу, однак тепер це завдання може взяти на себе штучний інтелект.

Нова комп'ютерна програма під назвою Watch, Attend and Spell ( "дивись, стеж і читай по буквах"), або WAS, розроблена фахівцями Оксфордського університету спільно з компанією DeepMind , Не тільки спростить комунікацію для глухих людей, але також дозволить вченим просунутися в удосконаленні штучного інтелекту.

Нагадаємо, що ще восени 2016 року фахівці розповіли про розробку алгоритму, який розпізнає мову по губах краще, ніж професіонали. ІІ-систему, що використовує комп'ютерний зір і методи машинного навчання, "тренували", показуючи їй випуски різних телешоу загальною тривалістю п'ять тисяч і годин (приблизно 118 тисяч пропозицій).

Потім послідувала перевірка ефективності: з випадкової вибірки 200 відеофрагментів професійний читець по губах безпомилково розпізнав тільки 12,4% виголошених слів, в той час як комп'ютерні алгоритми - 46,8%. При цьому помилки системи були незначними, наприклад, одиничний пропуск літери або втрата літери на кінці слова (нагадаємо, що в англійській мові буква "s" на кінці іменника може позначати множину слова).

Як зазначає співавтор розробки Джун Сон Чун ( Joon Son Chung ), Дуже важливу роль відіграє також розуміння контексту, а цього програму навчити складніше, ніж людину. Наприклад, слова mat (килимок), bat (кажан) і pat (погладити) за артикуляцією практично не відрізняються, і вибрати потрібний варіант допоможе тільки контекст.

При цьому програма WAS забезпечує не тільки точність, але і швидкість розуміння, додають автори. Але є у неї і недоліки. Поки що система не здатна працювати в режимі онлайн, а крім того, вона вміє розпізнавати лише цілісні пропозиції. Змусити систему працювати в режимі онлайн, а також удосконалити точність розпізнавання слів - зараз це основні завдання авторів проекту. "Тренування" планується продовжити на телевізійних програмах.

Що ж стосується перспектив використання, то вони видаються вельми широкими. "Читання по губах - це вражаючий і складний в освоєнні навик, і WAS створена, щоб допомогти перекладачам, наприклад, пропонуючи їм варіанти на затвердження. Є й інші застосування: давати вказівки смартфону в галасливій обстановці, озвучувати німі фільми, розрізняти мову декількох людей, говорять одночасно ", - додає Джун Сон Чун. Але, що найголовніше, програма допоможе адаптуватися до перегляду відео та навіть спілкуванню глухим і слабочуючих людям.

Детальний опис програми Watch, Attend and Spell представлено на сайті Оксфордського університету.

Нагадаємо, що раніше казанські вчені створили распознаватель мови . Крім того, фахівцями була створена нова система аутентифікації , Яка розпізнає користувача по руху губ і запобігає злом систем безпеки.