0

Российские разработчики оживили портреты Достоевского, Мэрилин Монро и Эйнштейна

Российские разработчики оживили портреты Достоевского, Мэрилин Монро и Эйнштейна
Российские разработчики из московского Центра искусственного интеллекта Samsung представили алгоритм нейросети, который умеет превращать статичные портреты в анимированное изображение. Система может генерировать видео, основываясь всего на одном исходном снимке.

Система снимает маску с лица человека на отдельных кадрах из видео, после чего переносит их на отдельные изображения лиц, причем алгоритм может работать даже с одиночным изображением, в том числе с портретами.

Алгоритм работает на основе трех нейросетей: Embedder, Generator и Discriminator. Первая нейросеть хранит информацию в виде векторов, вторая накладывает маску, а третья — оценивает реалистичность ролика. Чем больше кадров — тем живее получается видео.

Алгоритмы производят синтез изображения головы человека с линиями ориентира лица, взятых из другого фрагмента видео, или с использованием ориентиров лица другого человека. В качестве источника материала для обучения системы разработчики использовали обширную базу данных видеоизображений знаменитостей. Чтобы получить максимально точную «говорящую голову», системе необходимо использовать более 32 изображений.

Воспроизводить фотореалистичную персонализированную модель лица человека довольно проблематично. Объясняется это не только сложностью моделирования лица в целом (для этого существует большое количество подходов к моделированию), но также и сложностью моделирования определенных черт: полости рта, волос и так далее.

Другим усложняющим фактором является наша предрасположенность улавливать даже незначительные недоработки в изображении лица человека. Такая низкая толерантность к ошибкам моделирования объясняет нынешнюю распространенность нефотореалистичных аватаров, использующихся в телеконференциях.


В качестве примера работы предлагается небольшое видео с Достоевским, который реалистично двигается и шевелит губами. Еще одним экспериментальным материалом стал портрет Моны Лизы, который подвергся обработке нейросетью, после чего девушка с портрета начала шевелить губами, улыбаться и переводить взгляд. Достаточно реалистичный ролик получился на основе фотоснимка Сальвадора Дали.

Что-то похожее на новый алгоритм в декабре представили американские разработчики: их модель может оживлять статичные изображения человека целиком, заставляя его выбегать за пределы кадра.

Также по теме

Также по теме