Корзина пуста.
Runway Act-One с возможностью захвата выражения лица на основе искусственного интеллекта добавлена в модель Gen-3 Alpha
Функция Runway Act-One может работать с одним входным видео и изображением персонажа.
Act-One может захватывать такие детали, как линии глаз, микровыражения, темп и подачу пользователь
Advertisement
Runway AI, фирма искусственного интеллекта (ИИ), специализирующаяся на моделях генерации видео, объявила о новой функции во вторник. Названная Act-One, новая возможность доступна в последней большой языковой модели (LLM) Gen-3 Alpha компании и, как говорят, точно захватывает выражения лица из исходного видео, а затем воспроизводит их на персонаже, сгенерированном ИИ в видео. Функция решает существенную болевую точку в технологии генерации видео ИИ, которая преобразует реальных людей в персонажей ИИ, не теряя при этом реалистичности выражений.
Возможность Runway Act-One в Gen-3 Alpha представлена
В сообщении в блоге фирма ИИ подробно описала новую возможность генерации видео. Runway заявила, что инструмент Act-One может создавать живой и анимированный контент, используя видео и голосовые выступления в качестве входных данных. Инструмент нацелен на обеспечение выразительной игры персонажей в видеороликах, созданных с помощью искусственного интеллекта.
Видеоролики, созданные с помощью ИИ, значительно изменили процесс создания видеоконтента, поскольку теперь люди могут создавать определенные видео, используя текстовые подсказки на естественном языке. Однако существуют определенные ограничения, которые помешали адаптации этой технологии. Одним из таких ограничений является отсутствие элементов управления для изменения выражений персонажей в видео или для улучшения их производительности с точки зрения подачи предложения, жестов и движения глаз.
Однако с помощью Act-One Runway пытается преодолеть этот разрыв. Инструмент, который работает только с моделью Gen-3 Alpha, упрощает процесс анимации лица, который часто может быть сложным и требовать многоэтапных рабочих процессов. Сегодня анимация таких персонажей требует записи видео человека с разных ракурсов, ручной настройки лица и захвата его движения лица по отдельности.
Runway утверждает, что Act-One заменяет рабочий процесс и превращает его в двухэтапный процесс. Теперь пользователи могут записывать видео себя или актера с одноточечной камеры, которая также может быть смартфоном, и выбирать персонажа ИИ. После этого инструмент, как утверждается, точно фиксирует не только выражения лица, но и мелкие детали, такие как движения глаз, микровыражения, а также стиль подачи.
Подчеркивая масштаб этой функции, компания заявила в сообщении в блоге: «Модель сохраняет реалистичные выражения лица и точно переводит выступления в персонажей с пропорциями, отличными от исходного видео». Эта универсальность открывает новые возможности для изобретательного дизайна персонажей и анимации.”
Примечательно, что хотя Act-One можно использовать для анимированных персонажей, его также можно использовать для персонажей живого действия в кинематографической последовательности. Кроме того, инструмент может также захватывать детали, даже если угол наклона лица актера отличается от угла наклона лица персонажа ИИ.
- Новый Claude 3.5 Sonnet от Anthropic может выполнять задачи на ваших ПК
- Теперь вы можете резюмировать разговоры в чате Google с Gemini
- xAI Илона Маска запустил модель ИИ Grok в качестве API
Однако эта функция в настоящее время постепенно внедряется для всех пользователей, поскольку она работает только с Gen-3 Alpha, Те, кто находится на бесплатном уровне, получат ограниченное количество токенов для создания видео с помощью этого инструмента.