«Шедеврум» от «Яндекса» научился генерировать видео с помощью нейросети

«Яндекс» сообщает о запуске технологии создания видео с помощью нейросети в ответ на запрос пользователя. Функция появилась в сервисе «Шедеврум» в тестовом режиме.

Платформа генерирует короткие ролики продолжительностью 4 секунды с частотой 24 кадра в секунду. Опубликованными видео можно поделиться с друзьями или сохранить в формате MP4. Доступ к новой функции получили активные пользователи «Шедеврума», а смотреть видео могут все.

Для генерации видео пользователь описывает текстом то, что хочет увидеть в ролике. Платформа предложит ему четыре варианта первого кадра и набор анимационных эффектов для создания движения. В основу будет взято выбранное пользователем изображение, из которого нейросеть создает набор его измененных версий, а затем объединяет все выбранным эффектом. В сервисе доступны зум (приближение), таймлапс (ускоренная перемотка), полет, панорама, вращение, подъем и морфинг (постепенное изменение).

Отдельные кадры видеоролика создаются с применением метода каскадной диффузии. Сначала генерируются картинки в соответствии с запросом, после чего поэтапно увеличивается их разрешение с насыщением деталями.

«Яндекс» добавил нейросеть YandexGPT в приложение «Шедеврум» в июне текущего года, постепенно дополняя сервис новыми возможностями.