Программа называется Audio2Face. Ее бета-версия уже доступна для загрузки и работает сразу с несколькими языками. Украинского среди них, к сожалению, нет.

Интересно Испытать метавселенную на себе можно будет в магазинах Facebook по всему миру

Как работает программа

  • Программа Audio2Face построена на основе открытой платформы Nvidia Omniverse, что позволяет создавать модели в режиме реального времени.
  • На основе аудиозаписей технология искусственного интеллекта Nvidia делает 3D-анимацию лица, соответствующим образом создавая движения губ и мышц лица.
  • Технология может создавать анимацию как на основе готового файла, который можно загрузить в программу, так и в реальном времени, для чего понадобится микрофон.

Демонстрационная версия использует модель персонажа Digital Mark. По желанию для работы можно взять лицо с любыми чертами.

Что может технология: видео

Анимацию, предназначенную для одного персонажа можно перенести на другого – например, с человека на носорога: видео

На что способна технология: видео​

На что способна технология: видео

Программа поддерживает четыре языка:

  • английский,
  • французский,
  • итальянский,
  • русский.

Компания уже анонсировала, что в будущем Audio2Face сможет обрабатывать любые языки.

Точные сроки выхода финальной и полностью рабочей версии неизвестны. Эта разработка позволит игровым студиям создавать более усовершенствованных персонажей для своих проектов. Они смогут говорить с реалистичной мимикой, которая будет соответствовать сказанным фразам.

Кстати, еще весной компания демонстрировала первые обучающие ролики: видео