Apple: Dejen de discutir, el nuevo “iPhone” en la era de la IA sigue siendo el iPhone

En la carrera armamentista de la IA, Apple en realidad no llega “tarde”.

Escrito por: Lian Ran

Editor: Jing Yu

**Fuente: **Parque Geek

Todo el mundo quiere saber, en la aparentemente inminente era de la IA, ¿quién se convertirá en el nuevo “iPhone”?

Es muy probable que el “iPhone” en la era de la IA siga siendo el “iPhone”.

Un artículo reciente muestra que los investigadores de Apple han resuelto el problema clave de implementar modelos grandes en dispositivos con memoria limitada mediante la creación de un modelo de costos de inferencia que se coordina con el comportamiento de la memoria flash para guiar la optimización en dos áreas clave: Reducir la cantidad de datos transferidos desde la memoria flash. memoria y leer datos en bloques más grandes y contiguos.

Como resultado, se amplía la aplicabilidad y accesibilidad de los modelos grandes y también se puede acelerar el plan de Apple para integrar la IA generativa en iOS 18.

El año pasado, desde que ChatGPT se lanzó al público por primera vez en noviembre de 2022 y el mundo entró en la locura de la inteligencia artificial generativa, Apple, como la empresa de tecnología más grande del mundo, ha prestado mucha atención al desarrollo tecnológico más importante del pasado. década: inteligencia artificial generativa. La inteligencia artificial rara vez se menciona positivamente.

Apple Inc. | Fuente: medio

El mundo exterior puede pensar que el diseño de Apple en el campo de la inteligencia artificial está relativamente atrasado, pero una serie de tendencias muestran que Apple ya lo ha implementado, pero no lo ha hecho público oficialmente.

Desde 2023, Apple ha acelerado el desarrollo de tecnología de inteligencia artificial independiente. Apple no solo ha creado un equipo de inteligencia artificial dedicado para desarrollar modelos de lenguaje a gran escala, sino que también aplica enérgicamente el habla, la imagen y otras tecnologías de reconocimiento en el lado del producto; anteriormente, docenas de fusiones y adquisiciones han sentado las bases técnicas para Apple, especialmente detrás del asistente de voz Siri Su acumulación tecnológica le otorga una ventaja en campos como la interacción de voz, y con 2 mil millones de dispositivos activos en sus manos, se espera que Apple se convierta en el actor número uno en el campo de las aplicaciones de consumo de IA.

Los cambios más obvios comenzaron con la conferencia “Scary Fast” a finales de octubre. En esta conferencia, Apple lanzó el M3 Pro, que es un 40% más rápido que el M3, y el M3 Max, que es un 250% más rápido. También enfatizó que el M3 Max con una CPU de 16 núcleos y una GPU de 40 núcleos será Se utiliza para desarrollar software de IA. Al mismo tiempo, Apple ha posicionado claramente la nueva MacBook Pro como una herramienta para que los desarrolladores creen productos de IA.

La aparición de chips superpoderosos que admiten IA ha sentado las bases para la explosión de la IA de Apple. Pero, de hecho, la acumulación de Apple en IA es mucho más profunda que la de cualquier otro gigante.

01 Manzana “Esté preparado”

Mil millones de dólares estadounidenses al año es la cifra de inversión que se rumorea para el plan de IA de Apple.

Según Bloomberg, en julio de 2023, Apple construyó su propio modelo de lenguaje a gran escala Ajax y lanzó un chatbot interno con el nombre en código “Apple GPT” para probar las funciones de Ajax. El siguiente paso clave es determinar si la tecnología cumple con los estándares competitivos y cómo Apple la implementará en los productos existentes.

¿A dónde se fueron todos estos mil millones de dólares?

Gasta mucho dinero para formar un equipo de IA

John Giannandrea y Craig Federighi, vicepresidentes senior de inteligencia artificial e ingeniería de software de Apple, están liderando estos esfuerzos. En el equipo de Cook, se les conoce como los “patrocinadores ejecutivos” que impulsan proyectos de IA generativa. Se informa que también está involucrado Eddy Cue, vicepresidente senior de servicios de Apple. Las tres personas mencionadas anteriormente pueden gastar alrededor de mil millones de dólares cada año en el proyecto.

John Giannandrea ｜Fuente de la imagen: manzana

El reclutamiento y construcción del equipo de IA fuera del equipo central ha estado en marcha desde finales de abril. Más de una docena de anuncios en la página de empleo en ese momento buscaban expertos en aprendizaje automático en el campo de la inteligencia artificial generativa “que estén apasionados por construir sistemas autónomos extraordinarios”. Las vacantes se distribuyeron en varios equipos en San Diego, la Bahía de San Francisco. Area y Seattle, incluido el equipo de experiencia del sistema de integración, el equipo de PNL con experiencia de entrada, el equipo de investigación y desarrollo de aprendizaje automático y el equipo de desarrollo de tecnología.

Algunos de los puestos se centran específicamente en aplicaciones de inteligencia artificial generadoras de visión, y los candidatos trabajan en “modelado generativo visual para respaldar aplicaciones como fotografía computacional, edición de imágenes y videos, reconstrucción de formas y movimientos en 3D, y generación de avatares”.

En septiembre hubo informes de que Apple estaba reclutando activamente talentos de los equipos de inteligencia artificial de Google y Meta Platforms. Desde que AXLearn se subió a GitHub en julio de este año, 7 de las 18 personas que contribuyeron han trabajado en Google o Meta.

De hecho, Giannandrea y Ruoming Pang, un experto en el campo de las redes neuronales, ambos vinieron de Google. Giannandrea ha estado desarrollando sistemas avanzados de inteligencia artificial durante sus 8 años en Google. Giannandrea y Pang persuadieron a Apple para que usara Google Cloud, especialmente usando Google. Chip de unidad de procesamiento (TPU) Zhang personalizado de la nube para capacitación en aprendizaje automático. AXLearn, un marco de aprendizaje automático desarrollado para entrenar Ajax GPT, se basa en parte en la investigación de Pang.

En la información de contratación de octubre, los requisitos de talento de Apple para la inteligencia artificial generativa se han vuelto más claros. Por ejemplo, una descripción del trabajo en la plataforma App Store dice: “La compañía está desarrollando una plataforma de experiencia de desarrollador basada en inteligencia artificial generativa, para uso interno”. y para ayudar a nuestros equipos de desarrollo de aplicaciones". Otra publicación en el departamento minorista mencionó que Apple está desarrollando una “plataforma de IA conversacional (voz y chat)” para interactuar con los clientes, "generación de texto largo, la tarea de construir tecnología de generación de texto como “Resumen, preguntas y respuestas” también aparece en la información de contratación de Apple.

En otras ofertas de trabajo en el campo de la inteligencia artificial/aprendizaje automático de Apple, algunos puestos enfatizan la importancia de los modelos básicos y enumeran “agentes conversacionales similares a los humanos” como ejemplos de aplicaciones que pueden desarrollarse a través de estos modelos. Al mismo tiempo, Apple también publicó algunos requisitos laborales que involucran departamentos como Siri Information Intelligence, que es responsable de manejar funciones de productos como Siri y la búsqueda de Spotlight. Además, Apple está buscando activamente talentos que puedan implementar cálculos de modelos en dispositivos locales.

Acelerar la investigación y el desarrollo de la tecnología subyacente.

Además del talento, también se están realizando preparativos técnicos. Según se informa, Giannandrea está supervisando el desarrollo de la tecnología subyacente al nuevo sistema de inteligencia artificial y su equipo está renovando Siri para implementarlo aún más. Una versión más inteligente de Siri podría estar disponible el próximo año.

En términos de software, Federighi está liderando el desarrollo de un nuevo iOS con inteligencia artificial y se mejorará la experiencia de las aplicaciones, incluidas iMessage y Siri. Se dice que Apple ha emitido una directiva para agregar funcionalidad a iOS que se ejecuta en grandes modelos de lenguaje, que utilizarán grandes cantidades de datos para mejorar las capacidades de inteligencia artificial. Las nuevas características mejorarán los problemas de procesamiento de las aplicaciones Siri y Mensajes y la finalización automática de oraciones. .

Sistema Apple iOS 17｜Fuente de la imagen: Apple

Los equipos de ingeniería de software también están considerando integrar la IA generativa en herramientas de desarrollo como Xcode, una medida que podría ayudar a los desarrolladores de aplicaciones a escribir nuevas aplicaciones más rápido. Esto lo alinearía con servicios como GitHub Copilot de Microsoft, que proporciona sugerencias de autocompletar a los desarrolladores mientras escriben código.

Eddy Cue está presionando para agregar inteligencia artificial a tantas aplicaciones como sea posible, incluidas Apple Music, Pages, Keynote, etc., como explorar música para generar listas de reproducción automáticamente. A principios de este año, Spotify se asoció con OpenAI para lanzar dicha función; Cómo utilizar IA generativa para ayudar a las personas a escribir en aplicaciones como Pages o crear presentaciones de diapositivas automáticamente en Keynote (similar a las aplicaciones de Word y PowerPoint que ya tiene Microsoft). Apple también está probando inteligencia artificial generativa para aplicaciones internas de servicio al cliente para su equipo AppleCare.

“iPhone” en el modelo grande

Sin embargo, parece que aún no se ha decidido si la inteligencia artificial generativa debe implementarse en el dispositivo, basándose en la configuración de la nube, o ejecutarse de alguna manera entre los dos: ejecutarse en el dispositivo es sin duda más rápido y también favorece la protección de la privacidad del usuario. pero a través de la implementación en la nube, el modelo de lenguaje grande de Apple puede lograr operaciones más complejas y sofisticadas. Ambas opciones tienen pros y contras, y Apple está intentando encontrar un equilibrio entre la computación local y la computación en la nube.

Hay informes de que Apple ofrecerá una combinación de IA basada en la nube e IA procesada en el dispositivo. Sin embargo, varios ex ingenieros de aprendizaje automático de Apple dijeron que el liderazgo de Apple prefiere ejecutar software en dispositivos en lugar de servidores en la nube para mejorar la privacidad y el rendimiento.

Vicepresidente senior Giannandrea Uno de los principios básicos para el desarrollo de la inteligencia artificial de Apple es el respeto a la privacidad. Una vez dijo en una entrevista: “Entiendo que cuanto más grande sea el modelo en el centro de datos, más preciso será, pero es mejor ejecutar el modelo cerca de los datos en lugar de moverlos”.

Sin embargo, esto puede resultar muy difícil de implementar. Algunos analistas dicen que tomando Ajax GPT como ejemplo, ha sido entrenado en más de 200 mil millones de parámetros. Los parámetros reflejan el tamaño y la complejidad del modelo de aprendizaje automático; cuanto mayor sea el número de parámetros, mayor será la complejidad y mayor será el espacio de almacenamiento y la potencia informática necesarios. Es posible que un LLM con más de 200 mil millones de parámetros no se pueda colocar razonablemente en un iPhone.

Pero las últimas noticias muestran que es posible que Apple haya tomado una decisión sobre el terminal. Recientemente, Apple publicó un artículo de investigación que muestra que ha encontrado una manera de ejecutar modelos grandes en el iPhone: “Construyendo un modelo de costos de inferencia que se coordina con el comportamiento de la memoria flash para guiar la optimización en dos áreas clave: reducir los datos transferidos desde la memoria flash volumen y lectura de datos en fragmentos más grandes y contiguos”.

El documento afirma que la nueva tecnología permite que los modelos grandes se ejecuten 25 veces más rápido en dispositivos con memoria limitada, lo que significa que los modelos complejos de IA que originalmente no podían ejecutarse en dispositivos pequeños debido a limitaciones de recursos pronto podrán ejecutarse en iPhones y iPads. Espere a que se ejecute en dispositivos móviles de consumo.

02 El comprador número uno de AI: “Gasta una pequeña cantidad de dinero para hacer grandes cosas”

Aunque el mundo exterior percibe que Apple es más lenta que otros gigantes en el despliegue de tecnologías de vanguardia como la IA generativa, Apple también tiene su propia confianza en el campo de la IA.

La firma de investigación PitchBook, que ha seguido las múltiples adquisiciones de inteligencia artificial de Apple, concluyó que Apple se centra en adquirir equipos de talentos de primer nivel en diversos campos que puedan aplicar tecnología de aprendizaje automático a productos de consumo específicos. Se puede observar que la estrategia de adquisición de Apple se centra principalmente en aplicaciones de inteligencia artificial para el consumidor, pero también incluye la implementación de aprendizaje automático y tecnología operativa para dispositivos de borde, así como apuestas limitadas en aprendizaje profundo y tecnologías más horizontales.

Según las estadísticas, a partir de la adquisición de Siri en 2010, Apple ha adquirido más de 30 nuevas empresas de inteligencia artificial en 10 años, incluidas Shazam, primeSense, Turi, Lattice Data, Xnor.ai y otras cinco empresas, con montos de adquisición de menos de 2 Cien millones de dólares estadounidenses. Desde 2017, Apple ha adquirido 21 nuevas empresas de inteligencia artificial, casi el doble que las adquisiciones de Microsoft y Meta, y se le puede llamar el “comprador número uno de IA”. A partir de 2021, el ritmo de Apple para adquirir empresas de inteligencia artificial parece haberse desacelerado, pero aun así adquirió empresas de inteligencia artificial de nueva creación como Curious AI, AI Music y WaveOne.

Estadísticas incompletas de las adquisiciones de Apple en el campo de la IA desde 2010 hasta la actualidad｜Geek Park

En general, la estrategia de adquisición de Apple en el campo de la IA se puede resumir en “gastar un poco de dinero para hacer grandes cosas”. Apple rara vez realiza fusiones y adquisiciones a gran escala, y sus objetivos de adquisición suelen ser empresas emergentes cuyas tecnologías pueden integrarse estrechamente con productos y servicios existentes y ayudar a mejorar la construcción ecológica. Cuando Apple adquiere una empresa, la consideración principal suele ser cómo se puede integrar mejor la tecnología de la empresa en los proyectos que Apple está desarrollando.

En general, los montos de las transacciones para las adquisiciones de estas empresas por parte de Apple son generalmente bajos, y las direcciones técnicas de estas últimas cubren principalmente el reconocimiento de voz y la conversación, seguido del reconocimiento facial y el reconocimiento de imágenes. En términos de implementación, estas tecnologías adquiridas brindan soporte para muchas Apple existentes. productos y servicios como la mejora del asistente de voz Siri, la compatibilidad con el reconocimiento facial Face ID, la optimización de las aplicaciones de imágenes, la mejora de las funciones del servicio de música y la mejora de la precisión del pronóstico del tiempo.

Muchas de las adquisiciones de Apple parecen tener como objetivo mejorar Siri, lo que demuestra la importante posición de Siri en los sistemas de Apple. Por ejemplo, la adquisición de Inductiv fue para mejorar los datos de Siri, la adquisición de Voysis fue para mejorar la comprensión del lenguaje natural de Siri y la adquisición de PullString fue para facilitar a los desarrolladores de iOS el uso de las funciones de Siri en sus aplicaciones.

También hay algunas adquisiciones que apuntan a productos futuros: por ejemplo, Apple adquirió la startup de conducción autónoma Drive.ai en 2019, posiblemente para promover el desarrollo de su proyecto de coche autónomo. Apple no revela toda la información sobre la adquisición, por lo que puede haber otras empresas de inteligencia artificial adquiridas por Apple que no se conocen.

03 La IA lleva mucho tiempo integrada en los sistemas Apple

Además de numerosas fusiones y adquisiciones, el desarrollo de la IA de Apple se remonta a muchos años atrás. Desde el lanzamiento del Knowledge Navigator en 1987, hasta el lanzamiento del proyecto de reconocimiento de voz en 1990, y el lanzamiento de Siri en 2011 como el primer asistente de voz para el consumidor, Apple mostró su exploración de la IA desde muy temprano, pero siempre ha sido así. relativamente discreto.

Históricamente, Apple no ha sido el primero en lanzar nueva tecnología, especialmente tecnología que no ha sido probada por los consumidores. Por ejemplo, poco después del lanzamiento del reproductor MP3, se verificaron las perspectivas de mercado, pero Apple no entró inmediatamente en el mercado, sino que sólo lo hizo después de identificar una solución superior como el iPod.

Lo mismo ocurre en el campo de los teléfonos móviles: aunque otras empresas lanzaron teléfonos inteligentes temprano, Apple decidió ingresar al mercado en 2007 solo después de asegurarse de que podía brindar una excelente experiencia al cliente. De manera similar, aunque las tabletas existen desde 1989, la categoría de productos no logró ganar terreno hasta que Apple lanzó el iPad.

Apple siempre ha dado prioridad a la experiencia del consumidor y, por lo general, espera hasta que la tecnología madure antes de comercializarla oficialmente. Esta estrategia prudente evita el riesgo de tecnología inestable en la etapa inicial y también le permite a Apple aprovechar mejor las oportunidades de mercado y lanzar productos más maduros y que ir más allá.

Por lo tanto, Apple debería seguir el mismo camino para productos similares a ChatGPT: no los lanzará apresuradamente antes de que estén listos. Es decir, aunque mantenga una sensación de misterio, Apple debería eventualmente lanzar productos maduros de IA a su manera.

De hecho, ya existen muchas aplicaciones de aprendizaje automático/IA en los productos existentes de Apple:

Procesamiento de imágenes

Apple utiliza tecnología de aprendizaje automático para optimizar las fotografías tomadas con la cámara del iPhone, incluido Deep Fusion para reducir el ruido de la imagen y las herramientas del modo retrato del iPhone 15.

El iPhone 15 puede detectar si hay personas en la imagen y capturar automáticamente información detallada y detallada｜Fuente de la imagen: Apple

• Búsqueda visual: el aprendizaje automático potencia la capacidad del iPhone para detectar contenido fotográfico.
• La cámara mejorada del iPhone 15 puede utilizar el aprendizaje automático para distinguir entre personas y animales en la toma. *Retrato digital: la parte donde la lente frontal Apple Vision Pro escanea la información del rostro es el “avatar digital” generado por Apple para el usuario basándose en tecnología de aprendizaje automático.

Procesamiento del habla

• Síntesis de voz personal, transcripción de voz en tiempo real: el iPhone 15 admite voz personal, que permite a los usuarios sintetizar una voz similar a la suya para pronunciar el texto que escriben en FaceTime y llamadas telefónicas, así como correo de voz en vivo, con tiempo real. transcripción de mensajes.

Buscadores y sistemas de sugerencias

• Búsqueda de Spotlight: la búsqueda de Spotlight y la búsqueda en todo el sistema operativo iOS funcionan con inteligencia artificial.
• Sugerencias de Siri: cuando el iPhone ofrece sugerencias, como enviar un saludo de cumpleaños o agregar un evento de Mail a su calendario, hay algoritmos de aprendizaje automático detrás.
• Método de entrada: basado en el aprendizaje automático del lado del dispositivo, el método de entrada puede mejorar automáticamente el modelo de acuerdo con la escritura de cada usuario. Además, basado en el modelo de lenguaje Transformer de predicción de palabras más avanzado, el método de entrada puede comprender mejor los hábitos lingüísticos del usuario. y mejorar en gran medida la precisión de la entrada. Sexo, etc.
• Autocorrección: el sistema de autocorrección de Apple y las opciones de sugerencia de palabras funcionan con aprendizaje automático.

Vigilancia de la salud

• EKG: la función EKG del Apple Watch puede ver datos del ritmo cardíaco para determinar si el usuario puede estar experimentando fibrilación auricular.
• Detección de colisiones y caídas: mediante el aprendizaje automático, los dispositivos Apple pueden determinar si el usuario ha chocado o caído en función de la información recopilada por varios sensores.
• (Apple Watch Series 9 y Ultra 2: IA integrada en la funcionalidad de doble clic para tareas más sencillas, pantalla más brillante, Siri más inteligente y monitoreo de salud avanzado).

Otra posible aplicación es en los automóviles: el Proyecto Titán de Apple, un proyecto de automóvil autónomo. Aunque el proyecto secreto se llama Apple Car, todavía no está claro si Apple realmente lanzará un automóvil.

Según los informes, el sistema autónomo que se está desarrollando en el Proyecto Titán requiere un cerebro, que es donde entra en juego la inteligencia artificial de Apple. Muchas de las tecnologías introducidas para Apple Vision Pro también pueden desempeñar un papel muy importante en proyectos automotrices después de la amplificación.

Para el motor neuronal avanzado de Apple, es una tarea difícil para el sistema coordinarse en tiempo real, detectar objetos, comprender los comandos del usuario y generar comentarios al mismo tiempo. Sin embargo, un informe de 2021 mostró que Apple completó dicho chip y comenzará a probarlo.

A continuación, la aplicación de la IA en los productos Apple debería seguir innovando en aspectos como el procesamiento de imágenes, las recomendaciones de búsqueda y la percepción ambiental. Sin embargo, existe una posible falla potencial en su ecosistema, es decir, Apple insiste en perseguir la privacidad de los datos y el diseño de productos, lo que puede limitar su velocidad de implementación en tecnologías de vanguardia como la IA generativa, tal como lo percibe ahora el público. lento" “Un paso” es lo mismo.

Pero esto todavía no puede ocultar el enorme potencial de desarrollo de Apple en el campo de la IA, que se basa principalmente en los tres factores siguientes:

Por un lado, Apple tiene más de 2 mil millones de dispositivos que ejecutan el sistema operativo iOS en todo el mundo, lo que ha creado una enorme base de usuarios para el futuro desarrollo de aplicaciones de inteligencia artificial. Según el director financiero de Apple, Luca Maestri, en febrero de 2023, la base instalada de dispositivos activos de Apple superó la marca de los 2 mil millones, y al final del trimestre de junio alcanzó “en todas las regiones. Todos los segmentos del mercado han alcanzado niveles récord”.

Por otro lado, el asistente de voz Siri de Apple maneja 25 mil millones de solicitudes por mes, lo que refleja una fuerte demanda de los consumidores de herramientas de inteligencia artificial como los asistentes de voz. Si Apple puede lanzar productos similares a ChatGPT en el futuro, la escala de datos de IA y las interacciones de sus consumidores será enorme.

Lo que no se puede ignorar es que el número de suscriptores pagos de Apple está creciendo rápidamente, superando los mil millones y manteniendo un crecimiento de dos dígitos. En el informe financiero del tercer trimestre de agosto de 2023, el director ejecutivo de Apple, Cook, señaló que los “ingresos en el campo de los servicios de Apple alcanzaron un nivel récord” y que “las suscripciones pagas superaron los mil millones y crecieron a un ritmo de dos dígitos”. sentó una base sólida para que Apple logre un crecimiento de ingresos a través de aplicaciones de inteligencia artificial. Al depender de una base de usuarios tan amplia, Apple tiene un amplio margen de crecimiento en el mercado de IA de consumo.

Además, hay noticias de que Apple está invirtiendo mucho en servidores de inteligencia artificial y planea construir cientos más en 2024 para prepararse para su próxima era de inteligencia artificial. En el futuro, Apple todavía tiene un gran potencial para convertirse en la plataforma número uno para aplicaciones de inteligencia artificial para consumidores.

Referencia:

1. Dentro del gran plan de Apple para llevar la IA generativa a todos sus dispositivos, Bloomberg

2. Apple puede guardar silencio sobre la IA, pero también es el mayor comprador de empresas de IA, cuarzo

3. Apple aumenta el gasto para desarrollar IA conversacional, la información

4. LLM en un instante: inferencia eficiente de modelos de lenguaje grande con memoria limitada