La « conversation réelle » d'une heure de Xiao Zha Yuan Universe rend même les mèches de cheveux distinctes

**[Introduction] Le monde de “**Ready Player One” est à portée de main ! Au cours du week-end, Xiao Zha a entamé une « conversation avec une personne réelle » d’une heure dans le métaverse, ce qui a fait soupirer le présentateur et a presque oublié que la personne en face de lui n’était pas une vraie personne.

Se lever!

Hier encore, le célèbre animateur de podcast américain Lex Fridman et Xiao Zha ont entamé une conversation « face-à-face » d’une heure sur le métaverse, qui a choqué le monde.

Pendant que Lex Fridman discutait, il a dit sans ambages : “J’ai presque oublié que tu n’es pas une vraie personne devant moi.”

Ils ont mis les casques de Meta, à des centaines de kilomètres l’un de l’autre, mais ont pu reproduire les expressions faciales et les mouvements d’Aavtar de manière si réaliste.

Derrière tout cela se cache Codec Avatars, une technologie proposée par Meta en 2019 pour créer facilement des avatars humains virtuels. Elle ne nécessite qu’un téléphone portable pour capturer les différences subtiles dans les expressions humaines.

Certains internautes ont dit cela, sans compter qu’ils étaient plongés dans la conversation, mais même eux étaient tellement plongés dans le visionnage qu’après 9 minutes, ils ont soudainement senti qu’ils étaient de vraies personnes en train de converser !

Cela a même amené l’ancien scientifique de Google, David Ha, à changer son attitude sceptique à l’égard du « Métaverse ».

En 13 mois environ, le « véritable amour » de Xiao Zha pour l’univers Yuan semblait commencer à porter ses fruits.

De 2021 à aujourd’hui, Meta Universe Laboratory a investi des dizaines de milliards de dollars et perdu de l’argent, mais il a finalement permis aux gens de voir que le monde de “Ready Player One” est un pas de plus vers nous.

Jetons ensuite un coup d’œil aux merveilleux moments de la conversation entre Xiao Zha et l’avatar virtuel de Lex.

Transcription de l’entretien

Dès son apparition, l’entretien entre Fridman et Xiao Zha a commencé dans le métaverse.

Bien qu’une personne se trouvait en Californie et l’autre à Austin, au Texas, grâce au Codec Avatar et à la technologie stéréo 3D, les deux personnes semblaient être assises directement face à face et ont commencé une réunion et une conversation qui pourraient entrer dans l’histoire.

Fridman a ajusté la position de la source de lumière et tous deux ont clairement ressenti le changement de lumière.

Les autres endroits autour des deux personnes étaient dans le noir absolu.

En regardant le visage clair et l’expression vive de l’autre partie, j’ai vraiment senti que tout cela se passait dans une pièce avec les lumières éteintes.

Le sentiment le plus intuitif de Fridman est que c’est trop réel, si réel que les gens ne peuvent pas l’accepter.

Dans un tel environnement, l’entretien d’une heure a commencé.

L’interview couvrait les réflexions de Xiao Zha sur le métavers et la discussion sur ce qu’est la « réalité ». Ce qui a le plus attiré l’attention, ce sont les points de vue de Xiao Zha sur les perspectives de combinaison de l’IA et du métaunivers, ainsi que ses projets pour l’avenir de la méta IA. .

Trois ans de simulation du corps entier

Selon Xiao Zha, la technologie de l’IA jouera à l’avenir un rôle très important dans le métaverse.

Il y aura certainement une super intelligence artificielle très puissante dans le futur, mais il y aura toujours de nombreux outils d’IA qui permettront aux gens d’accomplir diverses tâches de manière très pratique.

Il a donné l’exemple du podcast de Fridman. Les podcasteurs doivent maintenir autant que possible l’interaction avec le public de leur communauté. Mais le présentateur ne peut pas faire cela 24 heures sur 24 sans faire une pause.

Si une IA peut être construite dans le métaverse pour aider les présentateurs à maintenir la vitalité de leurs communautés de fans et à répondre aux diverses demandes soulevées par les fans, elle permettra aux présentateurs d’accomplir des choses qui auraient pu être impossibles à accomplir auparavant.

Et Meta espère qu’une telle IA apparaîtra non seulement dans le métaverse, mais également sur diverses plateformes existantes pour aider les ancres,

Les célébrités Internet entretiennent leurs propres communautés de fans et d’utilisateurs.

Meta publiera cette fonctionnalité dès que possible pour permettre à davantage de créateurs de contenu.

De plus, Meta AI apparaîtra davantage à divers endroits du métaverse, communiquera avec les utilisateurs et fournira de l’aide aux utilisateurs.

Différents personnages d’IA apparaîtront avec différentes personnalités dans le métaverse, offrant aux utilisateurs une expérience très riche et diversifiée.

Et maintenant, l’IA pour ces différents rôles est en phase finale de préparation. Meta espère rendre ces IA plus prévisibles et plus sûres.

En plus de permettre aux utilisateurs ordinaires de bénéficier d’une meilleure expérience dans le métaverse, l’IA peut fournir une variété de services sérieux et professionnels aux entreprises ou aux clients au nom des entreprises du métaverse.

Dans les jeux métaverse, l’IA peut rendre les PNJ plus attrayants. Ils développent un jeu Snoopy similaire au meurtre scripté. L’IA fonctionne très bien en tant qu’hôte du jeu. C’est très drôle et intéressant.

Lama 3 en route

Fridman a continué à interroger Xiao Zha sur la situation actuelle de Meta AI. Concernant Llama 2 et le futur Llama 3, Xiao Zha savait également tout et continuait à annoncer l’actualité.

Dans le dernier podcast avec Fridman, Xiaozai a discuté avec lui de l’opportunité d’ouvrir Llama 2 en source ouverte, et Xiaozai était très heureux que Meta l’ait finalement fait.

Selon Xiao Zha, la valeur de l’open source d’un modèle de base comme Llama 2 dépasse de loin les risques.

Xiao Zha a déclaré qu’avant l’open source, Meta passait beaucoup de temps, effectuait une évaluation très rigoureuse et une simulation de l’équipe rouge, et finalement l’open source. Llama 2 a été téléchargé et utilisé plus que ce à quoi Xiao Zha s’attendait.

Quant à Llama 3, il y en aura certainement un. Mais après l’open source Llama 2, la priorité de Meta est désormais de l’intégrer dans divers produits de consommation.

Parce que Llama 2 en lui-même n’est pas un produit de consommation. Il s’agit plutôt d’une infrastructure que les gens peuvent utiliser pour construire des choses. Par conséquent, l’accent est désormais mis sur la poursuite des ajustements et pour que Llama 2 et ses différentes versions puissent bien servir les produits de consommation.

Espérons qu’un jour des centaines de millions de personnes apprécieront l’utilisation de ces produits.

Cependant, Meta travaille également au développement de modèles fondamentaux pour l’avenir. Il n’y a pas grand chose à révéler pour le moment, mais il sera certainement publié après des tests rigoureux de l’équipe rouge comme Llama 2.

Xiao Zha espère également que lorsque Llama 3 prendra forme, Meta continuera à être open source. Cependant, Meta n’a pas encore finalisé cette question, car il est encore loin de la sortie du modèle de base de nouvelle génération par Meta.

Cependant, les modèles open source peuvent permettre aux gens de mieux expérimenter ce que les modèles peuvent faire. Par exemple, Xiao Zha lui-même est très accro au chat avec divers personnages virtuels de l’IA, ce qui est très excitant.

La vie future de l’humanité

Concernant la vie humaine dans le futur, Xiao Zha a dit que le métaverse sera partout !

L’exemple le plus simple est celui du téléphone : à l’avenir, les humains connaîtront une véritable interaction entre eux et le monde virtuel, tout comme ils téléphonent aujourd’hui.

Par exemple, deux personnes peuvent expérimenter leur méthode de communication actuelle à tout moment et n’importe où. Sauf que les deux ne sont pas réellement assis dans la même pièce, à d’autres égards, une telle réunion de communication n’est pas différente d’une communication en face à face.

Car d’un point de vue philosophique, l’essence du monde réel est la combinaison de ce que nous pouvons percevoir et de ce qui existe réellement.

Si le monde numérique parvient à restaurer de mieux en mieux cet aspect, le monde numérique pourra devenir plus riche et plus puissant.

Finalement, Fridman a demandé à Xiao Zha, étiez-vous assis sur la plage en train de discuter avec moi ?

Xiao Zha a dit : non, j’étais assis dans la salle de conférence.

Fridman a dit, c’est dommage, j’étais assis sur la plage et je ne portais pas de pantalon. Heureusement, vous n’avez pas vu à quoi je ressemblais vraiment.

Codec Avatars : Un téléphone portable, votre avatar est ici

En fait, la technologie étonnante que nous avons vue dans la vidéo du blog a été développée par Meta il y a 19 ans déjà.

C’est - Codec Avatars.

Si vous souhaitez réaliser une véritable interaction dans le métaverse, les avatars virtuels sont les deux canaux de Ren et Du qui ouvrent la porte au métaverse.

Le projet Codec Avatars vise à mettre en œuvre un système capable de capturer et de représenter des avatars réalistes pour une utilisation en XR.

Initialement, le projet a commencé avec des démos d’avatars de haute qualité, puis a progressé vers la création d’avatars complets.

Lors de la conférence Connect 2021, le chercheur Yaser Sheikh a présenté la dernière réalisation de l’équipe : les avatars codecs du corps entier.

Les Codec Avatars, quant à eux, prennent en charge des mouvements oculaires, des expressions faciales, des postures des mains et du corps plus complexes.

En outre, Meta a également montré que les avatars peuvent obtenir un rendu réaliste des cheveux et de la peau dans différentes conditions d’éclairage et environnements.

L’opportunité pour Meta de commencer à créer des Codec Avatars remonte à il y a 9 ans.

En 2014, Yaser Sheikh, directeur de Panoptic Studio, un laboratoire de capture 3D dépendant de l’Institut de robotique de l’Université Carnegie Mellon, a rencontré Michael Abrash, scientifique en chef d’Oculus, et les deux ont eu une conversation très spéculative.

À gauche : Michael Abrash ; À droite : Yaser Sheikh

Yaser Sheikh a rejoint Meta en 2015 et dirige depuis lors l’équipe de recherche Codec Avatars.

“Pour créer un avatar réaliste, la base est la mesure”, a déclaré Thomas Simon, chercheur scientifique chez Codec Avatars.

"Ce qui rend les avatars réels, ce sont des données précises, qui nécessitent de bonnes mesures. La clé pour construire des avatars réalistes est donc de trouver un moyen de mesurer les détails physiques des expressions humaines, comme la façon dont une personne plisse les yeux ou fronce le nez. . »

L’équipe Codec Avatars des Pittsburgh Labs utilise deux modules principaux pour mesurer les expressions humaines : les encodeurs et les décodeurs.

Désormais, les gens n’ont besoin que d’un téléphone mobile pour capturer avec précision les informations sur les expressions faciales.

Restaurez le vrai corps directement dans le métaverse.

Les internautes se sont exclamés : Uncanny Valley

Les internautes qui ont lu ce blog sont étonnés par les effets de la vidéo.

Jim Fan, scientifique principal chez Nvidia, a déclaré :

Cet épisode de @lexfridman restera dans l’histoire comme le premier podcast réalisé par visioconférence avec un avatar.

Dans les 3 à 5 prochaines années, nous traverserons complètement la « vallée étrange » d’Avatar et de la simulation.

Tout au long de ma carrière, j’ai travaillé sur des agents avatar. Notre vision ultime est de réaliser une scène de The Matrix : des avatars complets, en temps réel, d’humains et d’intelligence artificielle, partageant le même espace virtuel, interagissant avec les objets de manière réaliste, recevant de riches retours multimodaux et oubliant cela. le monde n’est qu’une simulation.

Alors que les avatars doivent désormais être scannés avec un équipement spécial, Zucker a laissé entendre que les vidéos selfie sur smartphone seraient bientôt possibles.

Compte tenu des progrès récents dans les modèles génératifs 3D, je pense que cela sera possible d’ici quelques mois. Le suivi fin des doigts et le suivi de l’ensemble du corps seront les prochains objectifs.

Comment êtes-vous passé d’un avatar à 3 pixels à celui-ci ? J’ai dû être excité !

L’année dernière, Meta a dépensé 2,6 milliards de dollars américains en publicité et en marketing. L’effet de ce podcast est bien meilleur que l’argent. Lex, s’il te plaît, demande à Xiao Zha de te donner de l’argent !

Bien qu’il y ait quelques erreurs mineures dans le suivi oculaire, la présentation précise des expressions fait oublier qu’il ne s’agit en réalité que d’un avatar. Le futur est déjà là !

Pas étonnant que Musk n’ait pas pu trouver Xiao Zha, il s’est avéré que Xiao Zha se cachait ici !

Enfin, la vidéo originale de l’interview est ici.

Les références: