Apple: Pare de discutir, o novo “iPhone” da era da IA ainda é o iPhone
Na corrida armamentista da IA, a Apple na verdade não está “atrasada”.
Escrito por: Lian Ran
Editor: Jing Yu
**Fonte: **Geek Park
Todo mundo quer saber, na aparentemente próxima era da IA, quem se tornará o novo “iPhone”?
É muito provável que o “iPhone” da era da IA ainda seja o “iPhone”.
Um artigo recente mostra que os pesquisadores da Apple resolveram o principal problema de implantação de grandes modelos em dispositivos com memória limitada, construindo um modelo de custo de inferência coordenado com o comportamento da memória flash para orientar a otimização em duas áreas principais: Reduzir a quantidade de dados transferidos do flash memória e ler dados em blocos maiores e mais contíguos.
Como resultado, a aplicabilidade e acessibilidade de modelos grandes são ampliadas, e o plano da Apple de integrar IA generativa no iOS 18 também pode ser acelerado.
No ano passado, desde que o ChatGPT foi lançado ao público pela primeira vez em novembro de 2022 e o mundo entrou na mania da inteligência artificial generativa, a Apple, como a maior empresa de tecnologia do mundo, prestou muita atenção ao desenvolvimento tecnológico mais importante do passado década - inteligência artificial generativa. A inteligência artificial raramente é mencionada de forma positiva.
Apple Inc. | Fonte: médio
O mundo exterior pode pensar que o layout da Apple no campo da inteligência artificial é relativamente atrasado, mas uma série de tendências mostram que a Apple já o implantou, mas não o tornou oficialmente público.
Desde 2023, a Apple acelerou o desenvolvimento de tecnologia independente de inteligência artificial. A Apple não apenas criou uma equipe dedicada de IA para desenvolver modelos de linguagem em larga escala, mas também aplica vigorosamente tecnologias de fala, imagem e outras tecnologias de reconhecimento no lado do produto; anteriormente, dezenas de fusões e aquisições estabeleceram as bases técnicas para a Apple, especialmente por trás do assistente de voz Siri Seu acúmulo tecnológico lhe dá uma vantagem em áreas como interação de voz e, com 2 bilhões de dispositivos ativos em mãos, espera-se que a Apple se torne o player número um no campo de aplicativos de consumo de IA.
As mudanças mais óbvias começaram na conferência “Scary Fast” no final de outubro. Nesta conferência, a Apple lançou o M3 Pro, que é 40% mais rápido que o M3, e o M3 Max, que é 250% mais rápido. Também enfatizou que o M3 Max com CPU de 16 núcleos e GPU de 40 núcleos será usado para desenvolver software de IA. Ao mesmo tempo, a Apple posicionou claramente o novo MacBook Pro como uma ferramenta para os desenvolvedores criarem produtos de IA.
O surgimento de chips superpoderosos que suportam IA lançou as bases para a explosão da IA da Apple. Mas, na verdade, o acúmulo da Apple em IA é muito mais profundo do que qualquer outro gigante.
01 Apple “Esteja preparado”
Um bilhão de dólares por ano é o suposto valor de investimento para o plano de IA da Apple.
De acordo com a Bloomberg, em julho de 2023, a Apple construiu seu próprio modelo de linguagem em grande escala Ajax e lançou um chatbot interno com o codinome “Apple GPT” para testar as funções do Ajax. O próximo passo importante é determinar se a tecnologia atende aos padrões competitivos e como a Apple irá implementá-la nos produtos existentes.
Para onde foi todo esse US$ 1 bilhão?
Gaste muito dinheiro para construir uma equipe de IA
John Giannandrea e Craig Federighi, vice-presidentes seniores de inteligência artificial e engenharia de software da Apple, estão liderando esses esforços. Na equipe de Cook, eles são conhecidos como os “patrocinadores executivos” que conduzem projetos generativos de IA. É relatado que Eddy Cue, vice-presidente sênior de serviços da Apple, também está envolvido.As três pessoas acima podem atualmente gastar cerca de US$ 1 bilhão no projeto a cada ano.
John Giannandrea ｜Fonte da imagem: maçã
O recrutamento e construção da equipa de IA fora da equipa principal está em curso desde o final de abril. Mais de uma dúzia de anúncios na página de empregos da época procuravam especialistas em aprendizado de máquina na área de inteligência artificial generativa “que fossem apaixonados pela construção de sistemas autônomos extraordinários”. Area e Seattle, incluindo equipe de experiência em Sistema de Integração, equipe de PNL com experiência em entrada, equipe de P&D de aprendizado de máquina e equipe de desenvolvimento de tecnologia.
Algumas das posições concentram-se especificamente em aplicações de inteligência artificial geradoras de visão, com os candidatos trabalhando em “modelagem visual generativa para apoiar aplicações como fotografia computacional, edição de imagens e vídeos, reconstrução de formas e movimentos 3D e geração de avatares”.
Houve relatos em setembro de que a Apple estava recrutando ativamente talentos das equipes de inteligência artificial do Google e da Meta Platforms. Desde que o AXLearn foi carregado no GitHub em julho deste ano, 7 das 18 pessoas que contribuíram para ele trabalharam no Google ou no Meta.
Na verdade, Giannandrea e Ruoming Pang, especialista na área de redes neurais, vieram do Google. Giannandrea desenvolveu sistemas avançados de inteligência artificial durante seus 8 anos no Google. Giannandrea e Pang persuadiram a Apple a usar o Google Cloud, especialmente usando o Google Chip Zhang.Unidade de processamento (TPU) personalizado da Cloud para treinamento de aprendizado de máquina. AXLearn, uma estrutura de aprendizado de máquina desenvolvida para treinar Ajax GPT, é baseada em parte na pesquisa de Pang.
Nas informações de recrutamento de outubro, os requisitos de talento da Apple para inteligência artificial generativa tornaram-se mais claros. Por exemplo, uma descrição de cargo na plataforma App Store diz: “A empresa está desenvolvendo uma plataforma de experiência de desenvolvedor baseada em inteligência artificial generativa, para uso interno. e para auxiliar nossas equipes de desenvolvimento de aplicativos." Outra postagem no departamento de varejo mencionou que a Apple está desenvolvendo uma “plataforma de IA conversacional (voz e chat)” para interagir com os clientes, "geração de texto longo, A tarefa de construir tecnologia de geração de texto, como “Resumo, pergunta e resposta” também aparece nas informações de recrutamento da Apple.
Em outras ofertas de emprego na área de inteligência artificial/aprendizado de máquina da Apple, alguns cargos enfatizam a importância de modelos básicos e listam “agentes conversacionais semelhantes a humanos” como exemplos de aplicativos que podem ser desenvolvidos por meio desses modelos. Ao mesmo tempo, a Apple também divulgou alguns requisitos de trabalho envolvendo departamentos como o Siri Information Intelligence, responsável por lidar com funções de produtos como Siri e busca Spotlight. Além disso, a Apple está procurando ativamente talentos que possam implementar cálculos de modelos em dispositivos locais.
Acelere a pesquisa e o desenvolvimento da tecnologia subjacente
Além do talento, os preparativos técnicos também estão em andamento. Giannandrea está supervisionando o desenvolvimento da tecnologia subjacente ao novo sistema de inteligência artificial, e sua equipe está renovando o Siri para implementá-lo ainda mais. Uma versão mais inteligente do Siri poderá estar disponível já no próximo ano.
Em termos de software, Federighi está liderando o desenvolvimento de uma nova inteligência artificial iOS, e a experiência de aplicativos, incluindo iMessage e Siri, será melhorada. Diz-se que a Apple emitiu uma diretiva para adicionar funcionalidades ao iOS que rodam em grandes modelos de linguagem, que usarão grandes quantidades de dados para melhorar os recursos de inteligência artificial. Os novos recursos irão melhorar os problemas de processamento dos aplicativos Siri e Mensagens e o preenchimento automático de frases. .
Sistema Apple iOS 17｜Fonte da imagem: apple
As equipes de engenharia de software também estão considerando a integração de IA generativa em ferramentas de desenvolvimento como o Xcode, uma medida que pode ajudar os desenvolvedores de aplicativos a escrever novos aplicativos com mais rapidez. Isso o alinharia com serviços como o GitHub Copilot da Microsoft, que fornece sugestões de preenchimento automático para desenvolvedores enquanto eles escrevem código.
Eddy Cue está pressionando para adicionar inteligência artificial a tantos aplicativos quanto possível, incluindo Apple Music, Pages, Keynote, etc., como explorar músicas para gerar listas de reprodução automaticamente. No início deste ano, o Spotify fez parceria com a OpenAI para lançar tal recurso; estudando como Use IA generativa para ajudar as pessoas a escrever em aplicativos como o Pages ou a criar apresentações de slides automaticamente no Keynote (semelhante aos aplicativos Word e PowerPoint que a Microsoft já possui). A Apple também está testando inteligência artificial generativa para aplicativos internos de atendimento ao cliente de sua equipe AppleCare.
“iPhone” no modelo grande
No entanto, se a inteligência artificial generativa deveria ser implantada no dispositivo, com base nas configurações da nuvem, ou executada de uma forma entre as duas, parece ter ficado indeciso: rodar no dispositivo é, sem dúvida, mais rápido e também favorece a proteção da privacidade do usuário, Mas através da implantação na nuvem, o grande modelo de linguagem da Apple pode realizar operações mais complexas e sofisticadas. Ambas as opções têm prós e contras, e a Apple está tentando encontrar um equilíbrio entre a computação local e a computação em nuvem.
Há relatos de que a Apple oferecerá uma combinação de IA baseada em nuvem e IA processada no dispositivo. No entanto, vários ex-engenheiros de aprendizado de máquina da Apple disseram que a liderança da Apple prefere executar software em dispositivos em vez de servidores em nuvem para melhorar a privacidade e o desempenho.
Vice-presidente sênior Giannandrea Um dos princípios básicos para o desenvolvimento da inteligência artificial da Apple é o respeito pela privacidade. Certa vez, ele disse em uma entrevista: “Entendo que quanto maior o modelo no data center, mais preciso ele será, mas é melhor executar o modelo próximo aos dados, em vez de movê-los”.
No entanto, isto pode ser muito difícil de implementar. Alguns analistas dizem que, tomando como exemplo o Ajax GPT, ele foi treinado em mais de 200 bilhões de parâmetros. Os parâmetros refletem o tamanho e a complexidade do modelo de aprendizado de máquina; quanto maior o número de parâmetros, maior a complexidade e maior o espaço de armazenamento e o poder de computação necessários. Um LLM com mais de 200 bilhões de parâmetros pode não ser razoavelmente colocado em um iPhone.
Mas as últimas notícias mostram que a Apple pode ter tomado uma decisão terminal. Recentemente, a Apple divulgou um artigo de pesquisa mostrando que encontrou uma maneira de executar modelos grandes no iPhone, “Construindo um modelo de custo de inferência coordenado com o comportamento da memória flash para orientar a otimização em duas áreas principais: redução dos dados transferidos da memória flash volume e leitura de dados em pedaços maiores e mais contíguos."
O artigo afirma que a nova tecnologia permite que modelos grandes sejam executados 25 vezes mais rápido em dispositivos com memória limitada, o que significa que modelos complexos de IA que originalmente não podiam ser executados em dispositivos pequenos devido a restrições de recursos poderão em breve ser executados em iPhones e iPads. Aguarde até que ele seja executado em dispositivos móveis de consumo.
02 Comprador número um da IA: “Gaste uma pequena quantia de dinheiro para fazer grandes coisas”
Embora o mundo exterior considere a Apple mais lenta do que outros gigantes na implementação de tecnologias de ponta, como a IA generativa, a Apple também tem a sua própria confiança no campo da IA.
A empresa de pesquisa PitchBook, que acompanhou as múltiplas aquisições de inteligência artificial da Apple, concluiu que a Apple se concentra na aquisição de equipes de talentos de ponta em vários campos que possam aplicar tecnologia de aprendizado de máquina a produtos de consumo específicos. Pode-se observar que a estratégia de aquisição da Apple está focada principalmente em aplicações de inteligência artificial para o consumidor, mas também inclui implantação de aprendizado de máquina e tecnologia operacional para dispositivos de ponta, bem como apostas limitadas em aprendizado profundo e tecnologias mais horizontais.
Segundo as estatísticas, a partir da aquisição da Siri em 2010, a Apple adquiriu mais de 30 startups de IA em 10 anos, incluindo Shazam, primeSense, Turi, Lattice Data, Xnor.ai e outras cinco empresas, com valores de aquisição inferiores a 2 Cem milhões de dólares americanos. Desde 2017, a Apple adquiriu 21 startups de inteligência artificial, quase o dobro do número de aquisições da Microsoft e Meta, e pode ser chamada de “comprador número um de IA”. A partir de 2021, o ritmo de aquisição de empresas de IA pela Apple parece ter desacelerado, mas ainda adquiriu empresas iniciantes de IA, como Curious AI, AI Music e WaveOne.
Estatísticas incompletas das aquisições da Apple na área de IA de 2010 até o presente｜Geek Park
No geral, a estratégia de aquisição da Apple na área de IA pode ser resumida como “gastar um pouco de dinheiro para fazer grandes coisas”. A Apple raramente faz fusões e aquisições em grande escala. Os seus alvos de aquisição são geralmente start-ups cujas tecnologias podem ser estreitamente integradas com produtos e serviços existentes e ajudar a melhorar a construção ecológica. Quando a Apple adquire uma empresa, a principal consideração é muitas vezes como a tecnologia da empresa pode ser melhor integrada nos projetos que a Apple está desenvolvendo.
No geral, os valores das transações para a aquisição dessas empresas pela Apple são geralmente baixos, e as orientações técnicas desta última cobrem principalmente reconhecimento de fala e conversação, seguido de reconhecimento facial e reconhecimento de imagem.Em termos de implementação, essas tecnologias adquiridas fornecem suporte para muitos Apple existentes produtos e serviços, como melhoria do assistente de voz Siri, suporte ao reconhecimento facial Face ID, otimização de aplicativos de imagens, aprimoramento de funções de serviços de música e melhoria da precisão da previsão do tempo.
Muitas das aquisições da Apple parecem ter como objetivo melhorar o Siri, o que mostra a importante posição do Siri nos sistemas da Apple. Por exemplo, a aquisição da Inductiv foi para melhorar os dados da Siri, a aquisição da Voysis foi para melhorar a compreensão da linguagem natural da Siri e a aquisição da PullString foi para tornar mais fácil para os desenvolvedores iOS usarem as funções da Siri em seus aplicativos.
Existem também algumas aquisições que visam produtos futuros.Por exemplo, a Apple adquiriu a startup autônoma Drive.ai em 2019, possivelmente para promover o desenvolvimento de seu projeto de carro autônomo. A Apple não divulga todas as informações de aquisição, portanto pode haver outras empresas de inteligência artificial adquiridas pela Apple que não são conhecidas.
03 A IA está integrada há muito tempo nos sistemas Apple
Além de inúmeras fusões e aquisições, o desenvolvimento de IA da própria Apple remonta a muitos anos. Desde o lançamento do Knowledge Navigator em 1987, ao lançamento do projeto de reconhecimento de fala em 1990, até o lançamento do Siri em 2011 como o primeiro assistente de voz do consumidor, a Apple realmente mostrou sua exploração da IA muito cedo, mas sempre foi relativamente discreto.
Historicamente, a Apple não foi a primeira a lançar novas tecnologias, especialmente tecnologias que não foram comprovadas pelos consumidores. Por exemplo, pouco depois do lançamento do leitor de MP3, as perspectivas do mercado tinham sido verificadas, mas a Apple não entrou imediatamente no mercado, apenas aderiu depois de identificar uma solução superior como o iPod.
O mesmo se aplica à área dos telemóveis: embora outras empresas tenham lançado smartphones cedo, a Apple optou por entrar no mercado em 2007 apenas depois de garantir que poderia proporcionar uma excelente experiência ao cliente. Da mesma forma, embora os tablets existam desde 1989, a categoria de produtos não conseguiu ganhar força até a Apple lançar o iPad.
A Apple sempre colocou a experiência do consumidor em primeiro lugar e geralmente espera até que a tecnologia amadureça antes de comercializá-la oficialmente.Essa estratégia prudente evita o risco de tecnologia instável no estágio inicial e também permite que a Apple aproveite melhor as oportunidades de mercado e lance produtos mais maduros e que vá além.
Portanto, a Apple deve seguir o mesmo caminho para produtos semelhantes ao ChatGPT – ela não os lançará às pressas antes de estar pronto. Ou seja, embora mantendo um senso de mistério, a Apple deverá eventualmente lançar produtos maduros de IA à sua maneira.
Na verdade, já existem muitos aplicativos de aprendizado de máquina/IA nos produtos existentes da Apple:
Processamento de imagem
A Apple usa tecnologia de aprendizado de máquina para otimizar fotos tiradas pela câmera do iPhone, incluindo Deep Fusion para reduzir o ruído da imagem e ferramentas de modo retrato do iPhone 15.
O iPhone 15 pode detectar se há pessoas na foto e capturar automaticamente informações detalhadas e detalhadas｜Fonte da imagem: apple
- Pesquisa Visual - O aprendizado de máquina potencializa a capacidade do iPhone de detectar conteúdo fotográfico.
- A câmera atualizada do iPhone 15 pode usar aprendizado de máquina para distinguir entre pessoas e animais na foto. *Retrato digital: A parte onde a lente frontal do Apple Vision Pro verifica as informações do rosto é o “avatar digital” gerado pela Apple para o usuário com base na tecnologia de aprendizado de máquina.
Processamento de fala
- Síntese de fala pessoal, transcrição de fala em tempo real: o iPhone 15 suporta fala pessoal, que permite aos usuários sintetizar uma voz semelhante à sua para pronunciar o texto que digitam no FaceTime e em chamadas telefônicas, bem como no correio de voz ao vivo, com tempo real. transcrição de mensagens.
Mecanismos de busca e sistemas de sugestões
- Pesquisa Spotlight: a pesquisa Spotlight e a pesquisa no sistema operacional iOS são alimentadas por inteligência artificial.
- Sugestões da Siri: quando o iPhone fornece sugestões, como enviar uma saudação de aniversário ou adicionar um evento do Mail ao seu calendário, são algoritmos de aprendizado de máquina por trás disso.
- Método de entrada: baseado no aprendizado de máquina do lado do dispositivo, o método de entrada pode melhorar automaticamente o modelo de acordo com a digitação de cada usuário. Além disso, com base no modelo de linguagem Transformer de previsão de palavras mais avançado, o método de entrada pode entender melhor os hábitos de linguagem do usuário e melhorar significativamente a precisão da entrada.Sexo etc.
- AutoCorreção: o sistema AutoCorreção da Apple e as opções de sugestão de palavras são alimentados por aprendizado de máquina.
Monitoramento de Saúde
- EKG: o recurso EKG do Apple Watch pode visualizar dados de ritmo cardíaco para determinar se o usuário pode estar apresentando fibrilação atrial.
- Detecção de colisão e detecção de queda - Por meio do aprendizado de máquina, os dispositivos Apple podem determinar se o usuário colidiu ou caiu com base nas informações coletadas por vários sensores.
- (Apple Watch Series 9 e Ultra 2 – IA integrada à funcionalidade de clique duplo para tarefas mais fáceis, tela mais brilhante, Siri mais inteligente e monitoramento avançado de saúde.)
Outra aplicação possível é em carros – o Projeto Titan da Apple, um projeto de carro autônomo. Embora o projeto secreto se chame Apple Car, ainda não se sabe se a Apple realmente lançará um carro.
Segundo relatos, o sistema autônomo desenvolvido no Projeto Titan requer um cérebro, e é aí que entra a inteligência artificial da Apple. Muitas das tecnologias introduzidas para o Apple Vision Pro também podem desempenhar um papel importante em projetos automotivos após a amplificação.
Para o mecanismo neural avançado da Apple, é uma tarefa difícil para o sistema coordenar em tempo real, detectar objetos, entender os comandos do usuário e gerar feedback ao mesmo tempo. No entanto, um relatório de 2021 mostrou que a Apple concluiu esse chip e começará os testes.
Em seguida, a aplicação de IA em produtos Apple deverá continuar a inovar em aspectos como processamento de imagens, recomendações de pesquisa e percepção ambiental. No entanto, existe uma possível falha potencial no seu ecossistema, ou seja, a Apple insiste em prosseguir a privacidade dos dados e o design do produto, o que pode limitar a sua velocidade de implementação em tecnologias de ponta, como a IA generativa, tal como o público agora a percebe como " lento" “Um passo” é o mesmo.
Mas estes ainda não podem esconder o enorme potencial de desenvolvimento da Apple no campo da IA, que se baseia principalmente nos três fatores seguintes:
Por um lado, a Apple tem mais de 2 mil milhões de dispositivos que executam o sistema operativo iOS em todo o mundo, o que criou uma enorme base de utilizadores para o desenvolvimento futuro de aplicações de IA. De acordo com o diretor financeiro da Apple, Luca Maestri, em fevereiro de 2023, a base instalada de dispositivos ativos da Apple ultrapassou a marca de 2 bilhões e, no final do trimestre de junho, atingiu “em todas as regiões. Todos os segmentos de mercado atingiram níveis recordes”.
Por outro lado, o assistente de voz Siri da Apple processa 25 mil milhões de pedidos por mês, reflectindo a forte procura dos consumidores por ferramentas de IA, como assistentes de voz. Se a Apple puder lançar produtos semelhantes ao ChatGPT no futuro, a escala de dados e interações de IA de seus consumidores será enorme.
O que não pode ser ignorado é que o número de assinantes pagos da Apple está crescendo rapidamente, ultrapassando a marca de 1 bilhão e mantendo um crescimento de dois dígitos. No relatório financeiro do terceiro trimestre de agosto de 2023, o CEO da Apple, Cook, destacou que a “receita na área de serviços da Apple atingiu um recorde” e “as assinaturas pagas ultrapassaram 1 bilhão e estavam crescendo a uma taxa de dois dígitos”. estabeleceu uma base sólida para a Apple alcançar o crescimento da receita por meio de aplicativos de IA. Contando com uma base de usuários tão ampla, a Apple tem amplo espaço para crescimento no mercado de consumo de IA.
Além disso, há notícias de que a Apple está investindo pesadamente em servidores de inteligência artificial e planeja construir centenas de outros em 2024 para se preparar para sua próxima era de inteligência artificial. No futuro, a Apple ainda tem um grande potencial para se tornar a plataforma número um para aplicações de IA para consumidores.
Referência:
- Por dentro do grande plano da Apple para levar IA generativa a todos os seus dispositivos,bloomberg
- A Apple pode ficar quieta em relação à IA, mas também é a maior compradora de empresas de IA, quartzo
- Apple aumenta gastos para desenvolver IA de conversação,as informações
- LLM em um piscar de olhos: Inferência eficiente de modelos de linguagem grande com memória limitada