Сбер выложил в открытый доступ Kandinsky Avatar 1.0 — семейство российских моделей, которое создает говорящих видео-аватаров по изображению и записи голоса.
Разработчики могут использовать модели в собственных сервисах, в том числе коммерческих. Kandinsky Avatar 1.0 делает ролики длиной до минуты с частотой 24 кадра в секунду и способна оживлять не только людей, но и персонажей: животных или мультипликационных героев. Сбер планирует добавить модель в свои сервисы. Kandinsky Avatar 1.0 стала первой полностью российской моделью, способной создавать реалистичных цифровых собеседников.
Код и веса моделей доступны для разработчиков бесплатно под открытой лицензией MIT на GitHub, GitVerse и Hugging Face. Моделью также можно будет воспользоваться в популярных инструментах для запуска и интеграции нейросетей — ComfyUI и Diffusers.
Как работает модель
Чтобы создать видеоаватар, модели достаточно изображения, аудиозаписи и короткого текстового описания сцены. Kandinsky Avatar синхронизирует движения губ с речью, и сама добавляет мимику, повороты головы и жесты. Эмоцию персонажа можно задать текстом, тогда аватар будет выражать радость, грусть или злость. Модель создает видео на любом языке: аватар говорит на языке аудиозаписи, которую ей передали. Kandinsky Avatar не синтезирует и не клонирует голос: модель работает только с изображением и аудиозаписью, которые предоставляет пользователь. Технология открывает возможности для обучения, бизнеса, творчества и самовыражения.
Что можно создать на базе Kandinsky Avatar
1. Сервисы для блогеров и авторов контента: пользователь пишет сценарий, озвучивает его и получает ролик с говорящим ведущим
2. Образовательные платформы с видеоуроками и курсами, которые ведёт виртуальный преподаватель
Виртуальных консультантов для бизнеса, которые отвечают клиентам в любое время
3. Инструменты локализации: перевод видео на другие языки с точной артикуляцией
Игры и анимацию с говорящими персонажами
4. Приложения для персональных видеооткрыток и личных аватаров
Kandinsky Avatar разработана на базе модели генерации видео Kandinsky 5.0 Video и доступна разработчикам в двух версиях. Флагманская Pro создает видео в HD-разрешении и показывает лучшее качество среди протестированных открытых моделей и работает на одном уровне с HeyGen, одним из лидеров рынка коммерческих видеоаватаров. Компактную Lite можно запустить на домашней видеокарте, она генерирует видео в SD и по качеству сопоставима с открытыми моделями, превосходящими ее по размеру в 7–10 раз. Модели обучены более чем на 1 млн фрагментов видео: интервью, выступлений и подкастов на 95 языках, включая русский, английский, казахский, испанский и французский.
источник -
здесь
