Xiaomi lança OmniVoice de código aberto: um modelo de clonagem de voz que cobre 646 idiomas, treinado com dados totalmente de código aberto para superar sistemas comerciais

De acordo com o monitoramento Beating, o laboratório de IA da Xiaomi lançou uma nova geração da equipe Kaldi, o OmniVoice, um modelo de clonagem de voz zero-shot que suporta 646 idiomas para conversão de texto em fala (TTS). Com apenas alguns segundos de áudio de referência, é possível clonar a tonalidade da voz, inclusive em diferentes idiomas: forneça uma gravação em chinês, e o modelo pode falar em japonês, coreano ou outros idiomas usando a mesma voz. Todo o código, pesos e dados de treinamento são de código aberto, sob licença Apache-2.0.

Na arquitetura, o OmniVoice segue uma abordagem minimalista. O modelo consiste em apenas um Transformer bidirecional, que mapeia diretamente do texto para tokens acústicos de código múltiplo (codificação discreta de som), sem a necessidade de uma pipeline de duas etapas que primeiro converte para tokens semânticos e depois para tokens acústicos. Dois elementos-chave sustentam essa estrutura simples: uma estratégia de máscara aleatória de código múltiplo para aumentar a eficiência do treinamento, e a inicialização com parâmetros pré-treinados de grandes modelos de linguagem para melhorar a precisão da pronúncia. A velocidade de inferência é 40 vezes mais rápida que o tempo real, rodando diretamente com PyTorch, sem necessidade de otimizações adicionais.

Todos os dados de treinamento vêm de 50 conjuntos de dados de voz de código aberto, filtrados por redução de ruído e qualidade, totalizando 580 mil horas. Para línguas de recursos baixos, é utilizado um método de amostragem dinâmica para garantir a eficácia do treinamento. Em testes com 24 idiomas, a similaridade e inteligibilidade da voz do OmniVoice superaram vários sistemas comerciais. Em testes com 102 idiomas, a inteligibilidade foi próxima ou até superior à gravação real. Línguas com menos de 10 horas de dados de treinamento também podem ser sintetizadas.

Além da clonagem de voz, o modelo suporta a personalização do timbre por descrição textual (como “homem, de meia-idade, tom extremamente baixo” ou “mulher, jovem, sotaque de Sichuan”), redução automática de ruído com áudio de referência, inserção de emoções como risadas e suspiros, além de correções na pronúncia de caracteres com múltipl sons em chinês e nomes próprios.