Email: Пароль: Войти Регистрация
RSS Нейросеть учится рисовать картинки по описанию
Рубрика «Компьютика»
Нейросеть учится рисовать картинки по описанию
Дмитрий Усенков

Нейросети - самообучающиеся системы, по принципу работы аналогичные живому мозгу, - уже умеют распознавать, что изображено на картинке. Не так давно нейросети "научились" и раскрашивать монохромные изображения, получая цветные фото, подобные оригинальным. А теперь разработчики из компании Microsoft создали нейросеть, которая умеет рисовать картинки по их текстовому описанию.

В основе алгоритмов, создающих изображения, часто заложены так называемые "порождающие состязательные нейросети" (GAN - generative adversarial networks), которые включают в себя два структурных компонента - генератор и дискриминатор. Задача генератора - создание новых объектов, похожих на объекты из ранее переданной нейросетиобучающей выборкиизображений (непосредственного доступа к которой у генератора нет), а задача дискриминатора - определить, принадлежит ли созданный генератором объект к тому же классу, что и изображения в доступной ему обучающей выборке, и дать генератору соответствующий сигнал.

На основе подобных нейросетевых алгоритмов создаются программы, которые рисуют произведения искусства, создают трехмерные модели местности и даже превращают рукописные наброски в фотореалистичные изображения. Разработчики же из исследовательского отделения Microsoft под руководством Сяодуна Хэ для создания изображений из текстового описания создали новую разновидность GAN-нейросети: "внимательную GAN" (attentional GAN, или AttGAN). В отличие от уже существующих алгоритмов, которые генерируют изображения из всего описания, алгоритм AttGAN выделяет из описания только ключевые детали, оценивая каждое слово описания, и рисует изображение на их основе.

Структурная схема нейросети AttGAN


   

 

Экспериментальные изображения, полученные с помощью нейросети по текстовым описаниям (вверху);
в тексте описаний красным выделены найденные нейросетью ключевые слова, по которым формируется изображение


Источник: https://hi-tech.mail.ru/news/neyroset_van-gogh