Нейросеть научили создавать фотопортреты из простых рисунков
Опубликовано: 06.09.2018
Нейросеть научили создавать фотопортреты из простых рисунков
на что способна нейросеть часть 1
Едва ли не каждый из нас хоть раз пытался нарисовать автопортрет мышкой в Paint. Команда pix2pix представила сервис , который превращает такие рисунки в фотореалистичные портреты. О технологии рассказало издание Motherboard .
Основа сервиса – нейросети и технологии машинного обучения. Разработчики использовали модель условных порождающих состязательных сетей (conditional generative adversarial networks, cGAN). Она включает генеративный и различающий компонент, которые соревнуются между собой.
Генератор создает образы, которые различитель не сможет отличить от эталонных образцов. Но тот все же пытается, так что в процессе такого соревнования и генератор, и различитель совершенствуются. А пользователь получает наилучший результат – в данном случае портрет по простому черно-белому рисунку. Аналогичную модель ранее использовали для превращения рисунков котов в фото.
Отметим, что нейросеть не создает изображение с нуля. Она анализирует набросок пользователя и сопоставляет с ним данные, заложенные в систему. Это абстрактные представления о том, как выглядит человеческое лицо – что у него есть глаза, нос, рот, прическа, как они расположены и т.д.
Прямой перевод изображений от pix2pix продемонстрирован на вдохновляющем примере:
Мы попробовали создать свой рисунок и превратить его в фотореалистичный портрет. Результат, конечно, далек от идеала, но он очень необычный и довольно интересный: