A "conversa da vida real" de 1 hora do Universo Xiao Zha Yuan até torna os fios de cabelo distintos

**[Introdução] O mundo de “**Ready Player One” está ao seu alcance! No fim de semana, Xiao Zha iniciou uma “conversa com pessoa real” de uma hora no Metaverso, o que fez o âncora suspirar e quase esquecer que a pessoa à sua frente não era uma pessoa real.

Levantar!

Ainda ontem, o conhecido apresentador de podcast americano Lex Fridman e Xiao Zha iniciaram um bate-papo “cara a cara” de uma hora sobre o Metaverso, que chocou o mundo.

Enquanto Lex Fridman conversava, ele disse sem rodeios: “Quase esqueci que você não é uma pessoa real na minha frente”.

Eles colocaram os fones de ouvido do Meta, separados por centenas de quilômetros, mas foram capazes de reproduzir as expressões faciais e os movimentos do Aavtar de forma tão realista.

Por trás disso está o Codec Avatars, uma tecnologia proposta pela Meta em 2019 para criar facilmente avatares humanos virtuais. Requer apenas um telefone celular para capturar diferenças sutis nas expressões humanas.

Alguns internautas disseram isso sem falar que estavam imersos na conversa, mas mesmo eles estavam tão imersos em assistir que depois de 9 minutos, de repente sentiram que eram pessoas reais conversando!

Até fez com que o ex-cientista do Google David Ha mudasse sua atitude cética em relação ao “Metaverso”.

Em cerca de 13 meses, o “verdadeiro amor” de Xiao Zha pelo Universo Yuan parecia estar começando a dar frutos.

De 2021 até agora, o Meta Universe Laboratory investiu dezenas de bilhões de dólares e perdeu dinheiro, mas finalmente permitiu que as pessoas vissem que o mundo em “Ready Player One” está um passo mais perto de nós.

A seguir, vamos dar uma olhada nos momentos maravilhosos da conversa entre Xiao Zha e o avatar virtual de Lex.

Transcrição da entrevista

Assim que ele apareceu, a entrevista entre Fridman e Xiao Zha começou no metaverso.

Embora uma pessoa estivesse na Califórnia e a outra em Austin, Texas, por meio do Codec Avatar e da tecnologia estéreo 3D, as duas pessoas pareciam estar sentadas frente a frente e iniciaram uma reunião e um bate-papo que pode ficar para a história.

Fridman ajustou a posição da fonte de luz e ambos sentiram claramente a mudança na luz.

Os outros lugares ao redor das duas pessoas estavam escuros como breu.

Olhando para o rosto claro e a expressão vívida da outra parte, eu realmente senti que tudo isso aconteceu em uma sala com as luzes apagadas.

O sentimento mais intuitivo de Fridman é que isso é real demais, tão real que as pessoas não conseguem aceitá-lo.

Nesse ambiente, começou a entrevista de uma hora.

A entrevista cobriu os pensamentos de Xiao Zha sobre o Metaverso e a discussão sobre o que é “realidade”. O que mais atraiu a atenção foram as opiniões de Xiao Zha sobre as perspectivas de combinar a IA e o Meta Universo, bem como seus planos para o futuro da Meta AI. .

Três anos de simulação de corpo inteiro

Na opinião de Xiao Zha, a tecnologia de IA desempenhará um papel muito importante no Metaverso no futuro.

Definitivamente haverá uma superinteligência artificial muito poderosa no futuro, mas ainda haverá muitas ferramentas de IA que permitirão às pessoas realizar várias tarefas de forma muito conveniente.

Ele deu o podcast de Fridman como exemplo: Os podcasters precisam manter a interação com o público de sua comunidade tanto quanto possível. Mas o âncora não pode fazer isso 24 horas por dia sem fazer uma pausa.

Se uma IA puder ser construída no metaverso para ajudar os âncoras a manter a vitalidade de suas comunidades de fãs e atender às diversas solicitações levantadas pelos fãs, isso permitirá que os âncoras realizem coisas que antes poderiam ter sido impossíveis de realizar.

E Meta espera que tal IA não apareça apenas no metaverso, mas também em várias plataformas existentes para ajudar as âncoras,

As celebridades da Internet mantêm suas próprias comunidades de fãs e usuários.

A Meta lançará esse recurso o mais rápido possível no futuro para capacitar mais criadores de conteúdo.

Além disso, Meta AI aparecerá mais em vários lugares do metaverso, se comunicará com os usuários e fornecerá ajuda aos usuários.

Diferentes personagens de IA aparecerão com diferentes personalidades no metaverso, proporcionando aos usuários uma experiência muito rica e diversificada.

E agora a IA para essas diferentes funções está em fase final de preparação. Meta espera tornar essas IAs mais previsíveis e seguras.

Além de fazer com que os usuários comuns tenham uma melhor experiência no Metaverso, a IA pode fornecer uma variedade de serviços sérios e profissionais para empresas ou clientes em nome de empresas no Metaverso.

Nos jogos do metaverso, a IA pode fazer com que os NPCs se comportem de maneira mais atraente. Eles estão desenvolvendo um jogo Snoopy semelhante ao assassinato com script. A IA funciona muito bem como apresentadora do jogo. É muito engraçado e interessante.

Lhama 3 a caminho

Fridman continuou perguntando a Xiao Zha sobre a situação atual da Meta AI. Em relação ao Llama 2 e ao futuro Llama 3, Xiao Zha também sabia de tudo e continuava com as últimas notícias.

No último podcast com Fridman, Xiaozai discutiu com ele se deveria abrir o código do Llama 2, e Xiaozai ficou muito feliz que Meta finalmente o fez.

Na opinião de Xiao Zha, o valor do código aberto de um modelo básico como o Llama 2 supera em muito os riscos.

Xiao Zha disse que antes do código aberto, Meta passava muito tempo, conduzia avaliações muito rigorosas e simulações da equipe vermelha e, finalmente, abria o código-fonte. Llama 2 foi baixado e usado mais do que Xiao Zha esperava.

Quanto ao Llama 3, com certeza haverá um. Mas depois de abrir o código do Llama 2, a prioridade da Meta agora é integrá-lo a vários produtos de consumo.

Porque o Llama 2 em si não é um produto de consumo. É mais como uma infraestrutura que as pessoas podem usar para construir coisas. Portanto, o foco agora é continuar o ajuste fino e fazer com que o Llama 2 e suas diversas versões possam atender bem aos produtos de consumo.

Esperamos que um dia centenas de milhões de pessoas gostem de usar esses produtos.

No entanto, a Meta também está trabalhando no desenvolvimento de modelos fundamentais para o futuro. Não há muito a revelar no momento, mas com certeza será lançado após rigorosos testes da equipe vermelha como o Llama 2.

Xiao Zha também espera que quando o Llama 3 tomar forma, o Meta continue a ser de código aberto. No entanto, a Meta ainda não finalizou este assunto, pois ainda está longe de a Meta lançar o modelo básico da próxima geração.

No entanto, os modelos de código aberto podem permitir que as pessoas experimentem melhor o que os modelos podem fazer. Por exemplo, o próprio Xiao Zha é muito viciado em conversar com vários personagens virtuais de IA, o que é muito emocionante.

Vida Futura da Humanidade

Em relação à vida humana no futuro, Xiao Zha disse que o metaverso estará em toda parte!

O exemplo mais simples é o telefone. No futuro, os humanos experimentarão uma interação real entre eles e o mundo virtual, tal como fazem chamadas telefónicas agora.

Por exemplo, duas pessoas podem experimentar seu método de comunicação atual a qualquer hora e em qualquer lugar. Exceto que os dois não estão realmente sentados na mesma sala, em outros aspectos tal reunião de comunicação não é diferente da comunicação face a face.

Porque do ponto de vista filosófico, a essência do mundo real é a combinação do que podemos perceber e do que realmente existe.

Se o mundo digital puder restaurar este aspecto cada vez melhor, o mundo digital poderá tornar-se mais rico e mais poderoso.

Finalmente, Fridman perguntou a Xiao Zha: você estava sentado na praia conversando comigo?

Xiao Zha disse não, eu estava sentado na sala de conferências.

Fridman disse, é uma pena, eu estava sentado na praia e não usava calça, felizmente você não viu como eu realmente era.

Codec Avatares: um telefone celular, seu avatar está aqui

Na verdade, a incrível tecnologia que vimos no vídeo do blog foi desenvolvida pela Meta há 19 anos.

É - Avatares de Codec.

Se você deseja alcançar a verdadeira interação no metaverso, os avatares virtuais são os dois canais de Ren e Du que abrem a porta para o metaverso.

O projeto Codec Avatars tem como objetivo implementar um sistema capaz de capturar e representar avatares realistas para uso em XR.

Inicialmente o projeto começou com demonstrações de avatares de alta qualidade e progrediu para a construção de avatares de corpo inteiro.

Na conferência Connect 2021, o pesquisador Yaser Sheikh demonstrou a mais recente conquista da equipe: Avatares Codec de corpo inteiro.

Enquanto isso, os Codec Avatars suportam movimentos oculares, expressões faciais e posturas de mãos e corpo mais complexos.

Além disso, Meta também mostrou que os avatares podem obter uma renderização realista de cabelo e pele sob diferentes condições de iluminação e ambientes.

A oportunidade para Meta começar a fazer Codec Avatars remonta a 9 anos atrás.

Em 2014, Yaser Sheikh, chefe do Panoptic Studio, um laboratório de captura 3D do Instituto de Robótica da Universidade Carnegie Mellon, conheceu o cientista-chefe da Oculus, Michael Abrash, e os dois tiveram uma conversa muito especulativa.

Esquerda: Michael Abrash; Direita: Yaser Sheikh

Yaser Sheikh ingressou na Meta em 2015 e lidera a equipe de pesquisa de Codec Avatars desde então.

“Para criar um avatar realista, a base é a medição”, disse Thomas Simon, cientista pesquisador da Codec Avatars.

"O que faz os avatares parecerem reais são dados precisos, que exigem boas medições. Portanto, a chave para construir avatares realistas é encontrar uma maneira de medir os detalhes físicos nas expressões humanas, como a maneira como uma pessoa aperta os olhos ou torce o nariz. . ”

A equipe Codec Avatars do Pittsburgh Labs usa dois módulos principais para medir expressões humanas: codificadores e decodificadores.

Agora, as pessoas só precisam de um telefone celular para capturar com precisão as informações das expressões faciais.

Restaure o verdadeiro corpo diretamente no metaverso.

Internautas exclamaram: Vale Sobrenatural

Os internautas que leram este blog ficam impressionados com os efeitos do vídeo.

Jim Fan, cientista sênior da Nvidia, disse:

Este episódio de @lexfridman ficará para a história como o primeiro podcast produzido por videoconferência com avatar.

Nos próximos 3-5 anos, cruzaremos completamente o “vale misterioso” do Avatar e da simulação.

Ao longo da minha carreira tenho trabalhado com agentes de avatar. Nossa visão final é alcançar uma cena de Matrix: avatares de corpo inteiro e em tempo real de humanos e inteligência artificial, compartilhando o mesmo espaço virtual, interagindo com objetos de maneira realista, recebendo feedback multimodal rico e esquecendo que o mundo é apenas uma simulação.

Embora os avatares agora precisem ser escaneados com equipamentos especiais, Zucker deu a entender que em breve será possível fazer vídeos de selfies em smartphones.

Dados os recentes avanços nos modelos generativos 3D, penso que isto será possível dentro de alguns meses. O rastreamento refinado dos dedos e o rastreamento de corpo inteiro serão os próximos objetivos.

Como você evoluiu de um avatar de 3 pixels para este? Devo ter ficado animado!

No ano passado, Meta gastou 2,6 bilhões de dólares em publicidade e marketing. O efeito deste podcast é muito melhor do que o dinheiro. Lex, peça a Xiao Zha para lhe dar o dinheiro!

Embora existam alguns pequenos erros no rastreamento ocular, a apresentação precisa das expressões faz as pessoas esquecerem que se trata apenas de um avatar. O futuro já está aqui!

Não é de admirar que Musk não tenha conseguido encontrar Xiao Zha, descobriu-se que Xiao Zha estava escondido aqui!

Por fim, o vídeo original da entrevista está aqui.

Referências: