Meta a annoncé le framework d’IA audio2photoreal, qui peut générer des scènes de dialogue de personnages en saisissant des fichiers de doublage

Meta a récemment annoncé un framework d’IA appelé audio2photoreal, capable de générer une série de modèles de personnages de PNJ réalistes et de « synchroniser » et de « poser » automatiquement les modèles de personnages à l’aide de fichiers de voix off existants.

Le rapport de recherche officiel a souligné qu’après avoir reçu le fichier de doublage, le cadre photoréaliste Audio2 générera d’abord une série de modèles NPC, puis utilisera la technologie de quantification et l’algorithme de diffusion pour générer des actions de modèle, dans lesquelles la technologie de quantification fournit une référence d’échantillon d’action pour le cadre et l’algorithme de diffusion est utilisé pour améliorer l’effet des actions de caractère générées par le cadre.

Quarante-trois pour cent des évaluateurs de l’expérience contrôlée étaient « fortement satisfaits » des scènes de dialogue des personnages générées par le cadre, de sorte que les chercheurs ont estimé que le cadre photoréaliste Audio2 était capable de générer des mouvements « plus dynamiques et expressifs » que les produits concurrents de l’industrie. Il est rapporté que l’équipe de recherche a maintenant rendu public le code et l’ensemble de données pertinents sur GitHub.