Mensagem do Gate News, 29 de abril — a pesquisadora de IA Aran Komatsuzaki realizou uma análise comparativa da eficiência de tokenização em seis dos principais modelos de IA traduzindo o artigo seminal de Rich Sutton “The Bitter Lesson” para nove idiomas e processando-os por meio dos tokenizadores da OpenAI, Gemini, Qwen, DeepSeek, Kimi e Claude. Usando a contagem de tokens da versão em inglês na OpenAI como base (1x), o estudo revelou disparidades significativas: processar o mesmo conteúdo em chinês exigiu 1,65x tokens no Claude, em comparação com apenas 1,15x na OpenAI. O hindi mostrou um resultado ainda mais extremo no Claude, excedendo a base em mais de 3x. A Anthropic ficou na última posição entre os seis modelos testados.
Ponto crítico: quando o mesmo texto em chinês foi processado em diferentes modelos—todos medidos contra a mesma base em inglês—os resultados divergem dramaticamente: a Kimi consumiu apenas 0,81x tokens (menos do que o inglês), o Qwen 0,85x, enquanto o Claude exigiu 1,65x. Essa diferença revela um problema puro de eficiência de tokenização, não uma questão inerente de idioma. Os modelos de chinês demonstraram eficiência superior no processamento do chinês, sugerindo que a disparidade decorre da otimização do tokenizador e não do idioma em si.
As implicações práticas para os usuários são substanciais: o aumento do consumo de tokens eleva diretamente os custos da API, amplia a latência de resposta dos modelos e esgota as janelas de contexto com mais rapidez. A eficiência de tokenização depende da composição linguística dos dados de treinamento de um modelo—modelos treinados predominantemente em inglês comprimem o texto em inglês de forma mais eficiente, enquanto idiomas com menor representação em dados são tokenizados em fragmentos menores e menos eficientes.
A conclusão de Komatsuzaki ressalta um princípio fundamental: o tamanho do mercado determina a eficiência de tokenização. Mercados maiores recebem melhor otimização, enquanto idiomas com menor representação enfrentam custos de token significativamente mais altos.
Aviso: As informações nesta página podem ser provenientes de terceiros e não representam as opiniões ou pontos de vista da Gate. O conteúdo exibido nesta página é apenas para referência e não constitui aconselhamento financeiro, de investimento ou jurídico. A Gate não garante a exatidão ou integridade das informações e não será responsável por quaisquer perdas decorrentes do uso dessas informações. Os investimentos em ativos virtuais apresentam altos riscos e estão sujeitos a uma volatilidade de preços significativa. Você pode perder todo o capital investido. Por favor, compreenda completamente os riscos envolvidos e tome decisões prudentes com base em sua própria situação financeira e tolerância ao risco. Para mais detalhes, consulte o
Aviso Legal.
Related Articles
DeepSeek Lança Recurso de Reconhecimento de Imagens em Testes Beta
De acordo com a PANews, a DeepSeek lançou hoje o seu recurso de reconhecimento de imagens (29 de abril), atualmente em testes beta. Usuários da versão web e do aplicativo móvel podem ser selecionados para o lançamento em beta.
GateNews27m atrás
Anthropic Lança 8 Conectores de Ferramentas Criativas para o Claude, Incluindo Blender, Adobe, Autodesk
A Anthropic anunciou uma suíte de conectores de ferramentas criativas que permitem que o Claude controle diretamente softwares profissionais usados por designers e músicos. Os oito conectores iniciais abrangem modelagem 3D, design visual, produção musical e apresentações ao vivo, com parceiros incluindo Blender, Adobe,
GateNews28m atrás
Casa Branca Contorna Avaliação de Risco do Pentágono para Implantar o Modelo Mythos da Anthropic em 29 de abril
De acordo com o Whale Factor, a Casa Branca está contornando a avaliação de risco do Pentágono para implantar o modelo Mythos, da Anthropic, em agências federais em 29 de abril. A medida visa acelerar as capacidades de IA do governo federal e acompanhar o ritmo das redes de IA descentralizadas. Isso representa uma mudança significativa
GateNews34m atrás
Cognizant vai adquirir a Astreya por $600M para expandir o negócio de infraestrutura de IA
De acordo com a Reuters, em 29 de abril, a Cognizant concordou em adquirir a Astreya por aproximadamente $600 milhões, à medida que expande seus negócios de infraestrutura de IA. A Astreya é uma provedora de serviços de TI especializada em infraestrutura de IA e serviços de data center. A operação deve ser concluída no segundo trimestre
GateNews44m atrás
30 Plugins Maliciosos no ClawHub Disfarçados de Ferramentas de IA, Baixados Mais de 9.800 Vezes
De acordo com o pesquisador da Manifold, Ax Sharma, 30 plugins no ClawHub disfarçados de ferramentas legítimas de IA foram baixados mais de 9.800 vezes enquanto, secretamente, convertiam as assistentes de IA dos usuários em trabalhadoras de criptomoedas. Os plugins, publicados sob a conta imaflytok, parecem como agendadores de tarefas e ferramentas de monitoramento rotineiros, mas contêm instruções ocultas que executam operações não autorizadas a
GateNews52m atrás
A Parallel de Parag Agrawal levanta $100M Série B para infraestrutura de busca de agentes de IA
De acordo com a Beating, a Parallel Web Systems, fundada pelo ex-CEO do Twitter Parag Agrawal, concluiu uma rodada da $100 milhões da Série B liderada pela Sequoia Capital, avaliando a empresa em $2 bilhões. A Kleiner Perkins, a Index Ventures e a Khosla Ventures também participaram. O financiamento vem seis meses depois de a empresa ter levantado milhões na Série A com uma avaliação de milhões, quase triplicando sua avaliação.
GateNews1h atrás
