Facebook создала искусственный интеллект, превращающий реальных людей в управляемых игровых персонажей

Исследовательская группа Facebook создала ИИ под названием Vid2Play, который может сделать игровых персонажей на основе видео с реальными людьми.

Как им это удалось

Команда использовала две нейронные сети: Pose2Pose и Pose2Frame. Сначала видео подается в Pose2Pose, предназначенную для определения разных типов действий вроде танцев, игры в теннис или фехтования. Затем система отделяет фигуру человека вместе с его тенью и предметами в руках от заднего плана и вставляет их на чёрный фон. После этого можно управлять движением объекта с помощью джойстика или клавиатуры.

Для обучения системы потребовалось всего несколько коротких видеороликов. Искусственный интеллект был в состоянии убрать других людей и компенсировать различные углы камеры. Исследование напоминает функцию в Adobe After Effects для удаления лишних элементов из видео, таких как туристы или мусорные баки.

Пока что анимация несовершенна — фигура выглядит скользящей и диапазон движения немного ограничен. Однако, это большой прогресс по сравнению с предыдущими попытками извлечения персонажа из ролика.

Данное новшество позволит разработчикам игр создать своих героев на основе личных видео или добавить любимую личность из YouTube. Движения будут более реалистичными, чем при создании анимации вручную.

Источник

Источник