Делиться

11 декабря 2024 г.

Переосмысление создания видео с помощью Gemini 2.0 Flash

Вишал Дхармадхикари

Инженер по продуктовым решениям

Ханг Чу

Виггл

Герой выставки Viggle

API Gemini не просто улучшает приложения; он запускает революцию в сфере творческого самовыражения. Viggle , вирусная видеосенсация на основе искусственного интеллекта, позволяющая любому человеку превращать фотографии в захватывающие анимации, находится в авангарде этой революции. Экспериментируя с мультимодальной магией Gemini 2.0 Flash, доступной пока только в экспериментальной версии, – в частности, с его расширенными возможностями распознавания видео и вывода звука, а также с генерацией изображений Imagen 3 – Viggle разрабатывает функции, которые позволят пользователям легко воплощать в жизнь самые смелые фантазии способами, которые ранее были невозможны.

Viggle изнутри: создание видео с помощью ИИ с помощью Gemini 2.0 Flash и Imagen 3

Viggle уже покорил миллионы пользователей своей способностью легко преобразовывать статичные изображения в анимированные видеоролики с полным движением тела, вызвав вирусный рост популярности в социальных сетях. Viggle, специализирующийся на мемах и танцевальном контенте, предлагает мобильные приложения (iOS и Android) и веб-платформу (viggle.ai). Такие функции, как замена лиц, анимация изображений с помощью танцевальных движений и вставка людей в сцены из фильмов, уже пользуются популярностью у пользователей Viggle, и теперь они ищут новые способы вывести креативность на новый уровень.

В настоящее время Viggle разрабатывает прототипы двух функций, использующих возможности Gemini 2.0 Flash и Imagen 3:


  • Виртуальные видеоперсонажи из изображений: Viggle использует Imagen 3 для генерации изображений, создавая кузницу персонажей на базе искусственного интеллекта. Пользователи могут вводить простые текстовые подсказки – «танцующий робот со светящимися глазами» или «пушистый радужно-раскрашенный дракон», – и модель создаст уникальных виртуальных персонажей, готовых к съемкам в их видеороликах. Эти персонажи затем легко интегрируются в анимационный движок Viggle, открывая целую вселенную возможностей для персонализированного повествования. Представьте, что вы снимаете собственный короткометражный анимационный фильм с персонажами, созданными исключительно из вашего воображения – вот возможности, которые Viggle и Imagen 3 предоставляют вам.

  • Динамическое озвучивание на основе ИИ: Viggle также использует возможности Gemini 2.0 Flash по генерации речи и глубокому пониманию видео, чтобы разработать функцию, которая добавляет контекстно-зависимую озвучку к любому видео. Это не просто монотонный голос, читающий текст; это ИИ-рассказчик, который анализирует содержание видео, выделяя ключевые моменты, действия и даже эмоции, чтобы создать повествование, идеально дополняющее визуальный ряд. Будь то юмористический комментарий к танцевальному видео или эпическое описание фэнтезийной сцены, ИИ-рассказчик выводит взаимодействие на совершенно новый уровень.

Выход на новый уровень креативности и вовлеченности

Интеграция генеративного ИИ готова улучшить возможности Viggle по нескольким ключевым направлениям:


  • Упрощённое создание персонажей: функция генерации изображений Imagen 3 упрощает процесс создания и настройки видеоперсонажей. Теперь пользователи могут создавать уникальных персонажей на основе своих идей, устраняя необходимость в продвинутых дизайнерских навыках или использовании ограниченного набора предустановленных параметров. Этот упрощённый рабочий процесс позволяет большему числу пользователей воплощать свои творческие замыслы в жизнь.

  • Более персонализированный контент: Gemini 2.0 Flash позволяет пользователям создавать глубоко персонализированные видеоистории. Индивидуально разработанные персонажи в сочетании с динамичным ИИ-комментарием создают уникальные истории, укрепляющие связь между создателями и их аудиторией.

  • Расширенные творческие возможности: Сочетание виртуальных персонажей и ИИ-команды повествования расширяет творческий потенциал коротких видеороликов на Viggle. Пользователи могут исследовать новые формы повествования, выходя за рамки традиционных видеоформатов.

Взгляд в будущее

Viggle с нетерпением ждет возможности дальнейшего изучения потенциала Gemini 2.0 и моделей генерации изображений для усовершенствования своей платформы и предвидит будущее, в котором ИИ легко интегрируется в каждый этап творческого процесса, предоставляя возможность любому человеку стать создателем видео.

В Viggle каждый — творец. Мы создаём мемы, исследуем захват движения для проектов нового уровня и создаём собственную мультивселенную. Мы уверены, что благодаря возможности реалистичного голосового озвучивания Gemini 2.0 Flash наши пользователи откроют для себя новый потенциал, создавая истории, которые никогда раньше не были так увлекательны.

— Ханг Чу, основатель Viggle

Работа Viggle с Gemini 2.0 Flash и Imagen 3 демонстрирует потенциал ИИ для преобразования процесса создания видео и предоставления пользователям новых инструментов для самовыражения. Это сотрудничество знаменует собой шаг к будущему сторителлинга на основе ИИ. Чтобы узнать больше о работе с Gemini, ознакомьтесь с документацией по API Gemini и узнайте больше об Imagen 3 , чтобы узнать о наших последних достижениях в области создания изображений.

Комнаты

Расширение возможностей взаимодействия с аватаром с помощью текстовых и аудиовозможностей Gemini 2.0