В гонке вооружений ИИ Apple на самом деле не «опаздывает».
Сценарист: Лиан Ран
Редактор: Цзин Ю
**Источник: **Geek Park
Все хотят знать, в, казалось бы, наступающую эпоху искусственного интеллекта, кто станет новым «Айфоном»?
Весьма вероятно, что «Айфон» в эпоху ИИ так и останется «Айфоном».
Недавняя статья показывает, что исследователи Apple решили ключевую проблему развертывания больших моделей на устройствах с ограниченной памятью, построив модель стоимости вывода, которая скоординирована с поведением флэш-памяти, чтобы направлять оптимизацию в двух ключевых областях: Уменьшить объем данных, передаваемых с флэш-памяти. памяти и читать данные в более крупных и смежных блоках.
В результате возможности применения и доступности крупных моделей расширяются, а план Apple по интеграции генеративного искусственного интеллекта в iOS 18 также может быть ускорен.
В прошлом году, с тех пор как ChatGPT был впервые представлен публике в ноябре 2022 года и мир погрузился в увлечение генеративным искусственным интеллектом, Apple, как крупнейшая в мире технологическая компания, уделяла пристальное внимание наиболее важным технологическим разработкам прошлого. десятилетие – генеративный искусственный интеллект Искусственный интеллект редко упоминается положительно.
Apple Inc. | Источник: средний
Внешний мир может подумать, что план Apple в области искусственного интеллекта относительно отсталый, но ряд тенденций показывает, что Apple уже внедрила его, но официально не обнародовала.
С 2023 года Apple ускорила разработку независимых технологий искусственного интеллекта. Apple не только создала специальную команду по искусственному интеллекту для разработки крупномасштабных языковых моделей, но и активно применяет в своих продуктах технологии распознавания речи, изображений и других технологий; ранее десятки слияний и поглощений заложили техническую основу для Apple, особенно за голосовым помощником Siri Накопление технологий дает ей преимущество в таких областях, как голосовое взаимодействие, а с 2 миллиардами активных устройств Apple, как ожидается, станет игроком номер один в области потребительских приложений искусственного интеллекта.
Наиболее очевидные изменения начались после конференции «Страшно быстро» в конце октября. На этой конференции Apple представила M3 Pro, который на 40% быстрее, чем M3, и M3 Max, который на 250% быстрее.Он также подчеркнул, что M3 Max с 16-ядерным процессором и 40-ядерным графическим процессором будет используется для разработки программного обеспечения для искусственного интеллекта. В то же время Apple четко позиционирует новый MacBook Pro как инструмент разработчиков для создания продуктов с искусственным интеллектом.
Появление сверхмощных чипов, поддерживающих искусственный интеллект, заложило основу для стремительного развития искусственного интеллекта Apple. Но на самом деле накопления Apple в области искусственного интеллекта гораздо глубже, чем у любого другого гиганта.
##01 Яблоко «Будь готов»
По слухам, сумма инвестиций в план Apple по искусственному интеллекту составляет один миллиард долларов США в год.
По данным Bloomberg, в июле 2023 года Apple создала собственную крупномасштабную языковую модель Ajax и запустила внутреннего чат-бота под кодовым названием Apple GPT для тестирования функций Ajax. Следующий ключевой шаг — определить, соответствует ли технология конкурентоспособным стандартам и как Apple внедрит ее в существующие продукты.
Куда делся весь этот миллиард долларов?
Потратьте много денег на создание команды ИИ
Эти усилия возглавляют Джон Джаннандреа и Крейг Федериги, старшие вице-президенты Apple по искусственному интеллекту и разработке программного обеспечения. В команде Кука они известны как «исполнительные спонсоры», продвигающие проекты генеративного искусственного интеллекта. Сообщается, что в проекте также участвует Эдди Кью, старший вице-президент Apple по услугам.Эти три человека в настоящее время могут тратить на проект около $1 млрд в год.
Джон Джаннандреа ｜Источник изображения: яблоко
Набор и построение команды ИИ вне основной команды ведется с конца апреля. В то время на странице вакансий было более дюжины объявлений о поиске экспертов по машинному обучению в области генеративного искусственного интеллекта, «которые увлечены созданием выдающихся автономных систем». Район и Сиэтл, включая группу опыта работы с интеграционной системой, группу опыта работы с НЛП, группу исследований и разработок в области машинного обучения и группу разработки технологий.
Некоторые должности специально сосредоточены на приложениях искусственного интеллекта, генерирующих зрение, при этом кандидаты работают над «визуальным генеративным моделированием для поддержки таких приложений, как вычислительная фотография, редактирование изображений и видео, трехмерная реконструкция форм и движений, а также генерация аватаров».
В сентябре появились сообщения о том, что Apple активно набирает таланты из команд искусственного интеллекта Google и Meta Platforms. С тех пор как AXLearn был загружен на GitHub в июле этого года, 7 из 18 человек, внесших в него свой вклад, работали в Google или Meta.
На самом деле, Джаннандреа и Руоминг Панг, эксперт в области нейронных сетей, оба пришли из Google. Джаннандреа занимался разработкой передовых систем искусственного интеллекта в течение своих 8 лет в Google. Джаннандреа и Панг убедили Apple использовать Google Cloud, особенно с помощью Google. Специализированный чип Zhang Processing Unit (TPU) от Cloud для обучения машинному обучению. AXLearn, платформа машинного обучения, разработанная для обучения Ajax GPT, частично основана на исследованиях Панга.
В информации о наборе персонала в октябре требования Apple к талантам в области генеративного искусственного интеллекта стали более ясными. Например, описание вакансии на платформе App Store гласит: «Компания разрабатывает платформу для разработчиков на основе генеративного искусственного интеллекта., для внутреннего использования». и помогать нашим командам разработчиков приложений». В другом сообщении в отделе розничной торговли упоминалось, что Apple разрабатывает «разговорную платформу искусственного интеллекта (голос и чат)» для взаимодействия с клиентами, «генерации длинных текстов». Задача создания технологии генерации текста, такой как «Резюме, вопросы и ответы» также появляются в информации о наборе сотрудников Apple.
В других объявлениях о вакансиях в области искусственного интеллекта и машинного обучения Apple на некоторых позициях подчеркивается важность базовых моделей и перечисляются «человекоподобные диалоговые агенты» в качестве примеров приложений, которые могут быть разработаны с помощью этих моделей. В то же время Apple также опубликовала некоторые требования к должностям, включающие такие отделы, как Siri Information Intelligence, который отвечает за обработку функций таких продуктов, как поиск Siri и Spotlight. Кроме того, Apple активно ищет таланты, которые смогут реализовать модельные расчеты на локальных устройствах.
Ускорить исследования и разработку базовой технологии
Помимо талантов, идет и техническая подготовка. Сообщается, что Джаннандреа курирует разработку технологии, лежащей в основе новой системы искусственного интеллекта, а его команда модернизирует Siri для ее дальнейшего внедрения. Более умная версия Siri может быть доступна уже в следующем году.
Что касается программного обеспечения, Федериги возглавляет разработку новой iOS с искусственным интеллектом, а работа с приложениями, включая iMessage и Siri, будет улучшена. Сообщается, что Apple выпустила директиву о добавлении функциональности в iOS, которая работает на больших языковых моделях, которые будут использовать большие объемы данных для улучшения возможностей искусственного интеллекта.Новые функции улучшат проблемы обработки приложений Siri и Messages и автоматического завершения предложений. .
Система Apple iOS 17｜Источник изображения: apple
Команды разработчиков программного обеспечения также рассматривают возможность интеграции генеративного ИИ в инструменты разработки, такие как Xcode, — шаг, который может помочь разработчикам приложений быстрее писать новые приложения. Это приведет его в соответствие с такими сервисами, как Microsoft GitHub Copilot, который предоставляет разработчикам предложения по автозаполнению при написании кода.
Эдди Кью стремится добавить искусственный интеллект в максимально возможное количество приложений, включая Apple Music, Pages, Keynote и т. д., например, для просмотра музыки для автоматического создания плейлистов. Ранее в этом году Spotify заключила партнерское соглашение с OpenAI для запуска такой функции; Как использовать генеративный искусственный интеллект, чтобы помочь людям писать в таких приложениях, как Pages, или автоматически создавать слайд-шоу в Keynote (аналогично приложениям Word и PowerPoint, которые уже есть у Microsoft). Apple также тестирует генеративный искусственный интеллект для внутренних приложений обслуживания клиентов для своей команды AppleCare.
«Айфон» на большой модели
Однако вопрос о том, следует ли развертывать на устройстве генеративный искусственный интеллект на основе настроек облака или использовать нечто среднее между ними, похоже, еще не решен: запуск на устройстве, несомненно, быстрее, а также способствует защите конфиденциальности пользователей. но благодаря развертыванию в облаке большая языковая модель Apple позволяет выполнять более сложные и сложные операции. У обоих вариантов есть плюсы и минусы, и Apple пытается найти баланс между локальными и облачными вычислениями.
Есть сообщения, что Apple предложит комбинацию облачного ИИ и ИИ, обрабатываемого на устройстве. Однако несколько бывших инженеров Apple по машинному обучению заявили, что руководство Apple предпочитает запускать программное обеспечение на устройствах, а не на облачных серверах ради улучшения конфиденциальности и производительности.
Старший вице-президент Джаннандреа Одним из основных принципов разработки искусственного интеллекта Apple является уважение конфиденциальности. Однажды он сказал в интервью: «Я понимаю, что чем больше модель в центре обработки данных, тем точнее она будет, но лучше всего запускать модель близко к данным, а не перемещать данные».
Однако реализовать это может быть очень сложно. Некоторые аналитики утверждают, что на примере Ajax GPT он был обучен более чем на 200 миллиардах параметров. Параметры отражают размер и сложность модели машинного обучения; чем больше параметров, тем выше сложность и тем больше требуется места для хранения и вычислительной мощности. LLM с более чем 200 миллиардами параметров невозможно разместить на iPhone.
Но последние новости показывают, что Apple, возможно, приняла окончательное решение. Недавно Apple опубликовала исследовательскую работу, показывающую, что она нашла способ запускать большие модели на iPhone: «Построение модели затрат, которая скоординирована с поведением флэш-памяти, для оптимизации в двух ключевых областях: сокращение объема данных, передаваемых из флэш-памяти». тома и считывание данных более крупными и непрерывными порциями».
В документе говорится, что новая технология позволяет крупным моделям работать в 25 раз быстрее на устройствах с ограниченной памятью, а это означает, что сложные модели искусственного интеллекта, которые изначально не могли работать на небольших устройствах из-за ограничений ресурсов, вскоре смогут работать на iPhone и iPad. Подождите, пока он запустится на потребительских мобильных устройствах.
02 Покупатель ИИ номер один: «Потратьте небольшую сумму денег, чтобы сделать большие дела»
Хотя внешний мир считает, что Apple медленнее других гигантов внедряет передовые технологии, такие как генеративный искусственный интеллект, у Apple также есть собственная уверенность в области искусственного интеллекта.
Исследовательская фирма PitchBook, которая отслеживала многочисленные приобретения Apple в области искусственного интеллекта, пришла к выводу, что Apple фокусируется на привлечении лучших талантливых команд в различных областях, которые могут применять технологии машинного обучения к конкретным потребительским продуктам. Видно, что стратегия приобретения Apple в основном ориентирована на потребительские приложения искусственного интеллекта, но также включает в себя развертывание и эксплуатацию технологий машинного обучения для периферийных устройств, а также ограниченные ставки на глубокое обучение и более горизонтальные технологии.
По статистике, начиная с приобретения Siri в 2010 году, Apple за 10 лет приобрела более 30 AI-стартапов, в том числе Shazam, primeSense, Turi, Lattice Data, Xnor.ai и другие пять компаний, при этом суммы приобретений составили менее 2 Сто миллионов долларов США. С 2017 года Apple приобрела 21 стартап в области искусственного интеллекта, что почти вдвое превышает количество приобретений Microsoft и Meta, и ее можно назвать «покупателем ИИ номер один». Начиная с 2021 года темпы приобретения Apple компаний, занимающихся искусственным интеллектом, похоже, замедлились, но компания все равно приобретала начинающие компании, занимающиеся искусственным интеллектом, такие как Curious AI, AI Music и WaveOne.
Неполная статистика приобретений Apple в сфере искусственного интеллекта с 2010 года по настоящее время｜Geek Park
В целом стратегию приобретения Apple в области искусственного интеллекта можно резюмировать как «потратьте немного денег, чтобы сделать большие дела». Apple редко проводит крупномасштабные слияния и поглощения, и ее целью приобретения обычно являются стартапы, чьи технологии могут быть тесно интегрированы с существующими продуктами и услугами и помогают улучшить экологическое строительство. Когда Apple приобретает компанию, главным соображением часто является то, как можно лучше интегрировать технологии компании в проекты, которые разрабатывает Apple.
В целом суммы транзакций по приобретению Apple этих компаний, как правило, невелики, а технические направления последней в основном охватывают распознавание речи и разговора, а затем распознавание лиц и распознавание изображений. С точки зрения реализации эти приобретенные технологии обеспечивают поддержку многих существующих Apple продукты и услуги, такие как улучшение голосового помощника Siri, поддержка распознавания лиц Face ID, оптимизация графических приложений, улучшение функций музыкальных сервисов и повышение точности прогноза погоды.
Многие приобретения Apple, судя по всему, направлены на улучшение Siri, что показывает важную позицию Siri в системах Apple. Например, приобретение Inductiv должно было улучшить данные Siri, приобретение Voysis — улучшить понимание Siri естественного языка, а приобретение PullString — облегчить разработчикам iOS использование функций Siri в своих приложениях.
Есть также некоторые приобретения, нацеленные на будущие продукты. Apple не раскрывает всю информацию о приобретении, поэтому могут быть и другие компании, занимающиеся искусственным интеллектом, приобретенные Apple, о которых неизвестно.
##03 ИИ уже давно интегрирован в системы Apple
Помимо многочисленных слияний и поглощений, собственная разработка Apple в области искусственного интеллекта насчитывает много лет. Начиная с запуска Knowledge Navigator в 1987 году, запуска проекта распознавания речи в 1990 году и запуска Siri в 2011 году как первого потребительского голосового помощника, Apple очень рано продемонстрировала свои исследования в области искусственного интеллекта, но так было всегда. относительно сдержанный.
Apple исторически не была первой, кто запускал новые технологии, особенно технологии, которые не были проверены потребителями. Например, вскоре после запуска MP3-плеера перспективы рынка были проверены, но Apple не вышла на рынок сразу, а присоединилась к нему только после того, как нашла лучшее решение, такое как iPod.
То же самое можно сказать и о мобильных телефонах: хотя другие компании начали выпуск смартфонов раньше, Apple решила выйти на рынок в 2007 году только после того, как убедилась, что сможет обеспечить отличный клиентский опыт. Аналогичным образом, хотя планшеты существуют с 1989 года, эта категория продуктов не получила развития до тех пор, пока Apple не выпустила iPad.
Эта разумная стратегия позволяет избежать риска нестабильности технологии на ранней стадии, а также позволяет Apple лучше использовать рыночные возможности и выпускать более зрелые и продукты, которые сделать все возможное.
Поэтому Apple следует пойти по тому же пути и в отношении продуктов, подобных ChatGPT — она не будет запускать их в спешке, пока они не будут готовы. То есть, сохраняя ощущение загадочности, Apple в конечном итоге должна по-своему выпустить зрелые продукты искусственного интеллекта.
Фактически, в существующих продуктах Apple уже есть много приложений машинного обучения и искусственного интеллекта:
Обработка изображений
Apple использует технологию машинного обучения для оптимизации фотографий, сделанных камерой iPhone, включая Deep Fusion для уменьшения шума изображения и инструменты портретного режима iPhone 15.
iPhone 15 может определять, есть ли на изображении люди, и автоматически захватывать подробную информацию о глубине｜Источник изображения: apple
- Визуальный поиск. Машинное обучение обеспечивает способность iPhone обнаруживать фотоконтент.
- Модернизированная камера iPhone 15 может использовать машинное обучение, чтобы различать людей и животных в кадре.
*Цифровой портрет: часть, в которой передняя линза Apple Vision Pro сканирует информацию о лице, представляет собой «цифровой аватар», созданный Apple для пользователя на основе технологии машинного обучения.
Обработка речи
- Синтез личной речи, транскрипция речи в реальном времени: iPhone 15 поддерживает функцию «Персональная речь», которая позволяет пользователям синтезировать голос, похожий на их собственный, для произнесения текста, который они набирают в FaceTime и телефонных звонках, а также голосовой почты в режиме реального времени. транскрипция сообщений.
Поисковые системы и системы подсказок
- Поиск Spotlight: поиск Spotlight и поиск в операционной системе iOS основаны на искусственном интеллекте.
- Предложения Siri: когда iPhone предлагает предложения, например отправить поздравление с днем рождения или добавить событие из «Почты» в календарь, за этим стоят алгоритмы машинного обучения.
- Метод ввода: основанный на машинном обучении на стороне устройства, метод ввода может автоматически улучшать модель в соответствии с набором текста каждого пользователя. Кроме того, на основе более продвинутой языковой модели Transformer для прогнозирования слов метод ввода может лучше понять языковые привычки пользователя. и значительно повысить точность ввода.Секс и т. д.
- Автозамена. Система автозамены Apple и параметры предложения слов основаны на машинном обучении.
Мониторинг здоровья
- ЭКГ. Функция ЭКГ на Apple Watch позволяет просматривать данные сердечного ритма, чтобы определить, есть ли у пользователя фибрилляция предсердий.
- Обнаружение столкновений и обнаружение падения. Благодаря машинному обучению устройства Apple могут определить, столкнулся ли пользователь или упал, на основе информации, собранной различными датчиками.
- (Apple Watch Series 9 и Ultra 2 — встроенный искусственный интеллект в функцию двойного щелчка для более простых задач, более яркого дисплея, более умной Siri и расширенного мониторинга состояния здоровья.)
Еще одно возможное применение — в автомобилях — Apple Project Titan, проект беспилотного автомобиля. Хотя секретный проект называется Apple Car, до сих пор неясно, выпустит ли Apple автомобиль на самом деле.
По имеющимся данным, автономная система, разрабатываемая в Project Titan, требует наличия мозга, и именно здесь на помощь приходит искусственный интеллект Apple. Многие технологии, представленные в Apple Vision Pro, могут также сыграть огромную роль в автомобильных проектах после усиления.
Передовой нейронный движок Apple представляет собой сложную задачу: координировать действия в реальном времени, обнаруживать объекты, понимать команды пользователя и одновременно генерировать обратную связь. Однако отчет 2021 года показал, что Apple завершила создание такого чипа и начнет его тестирование.
Далее, применение искусственного интеллекта в продуктах Apple должно продолжать внедрять инновации в таких аспектах, как обработка изображений, поисковые рекомендации и восприятие окружающей среды. Однако в ее экосистеме есть возможный потенциальный недостаток: Apple настаивает на обеспечении конфиденциальности данных и дизайне продуктов, что может ограничить скорость ее внедрения в таких передовых технологиях, как генеративный искусственный интеллект, точно так же, как общественность сейчас воспринимает это как « медленно» «Один шаг» — то же самое.
Но они все равно не могут скрыть огромный потенциал развития Apple в области искусственного интеллекта, который в основном основан на следующих трех факторах:
С одной стороны, у Apple более 2 миллиардов устройств под управлением операционной системы iOS по всему миру, что заложило огромную базу пользователей для будущей разработки приложений искусственного интеллекта. По словам финансового директора Apple Луки Маэстри, по состоянию на февраль 2023 года число установленных активных устройств Apple превысило отметку в 2 миллиарда, а в конце июньского квартала оно достигло “во всех регионах. Все сегменты рынка достигли рекордных высот”.
С другой стороны, голосовой помощник Siri от Apple обрабатывает 25 миллиардов запросов в месяц, что отражает высокий потребительский спрос на инструменты искусственного интеллекта, такие как голосовые помощники. Если Apple сможет запустить продукты, подобные ChatGPT, в будущем, масштаб данных искусственного интеллекта и взаимодействия с потребителями будет огромным.
Что нельзя игнорировать, так это то, что число платных подписчиков Apple быстро растёт, превысив отметку в 1 миллиард и сохраняя двузначный рост. В финансовом отчете за третий квартал в августе 2023 года генеральный директор Apple Кук отметил, что «доходы Apple в сфере услуг достигли рекордно высокого уровня», а «количество платных подписок превысило 1 миллиард и росло двузначными темпами». заложил прочную основу для Apple, позволяющую добиться роста доходов за счет приложений искусственного интеллекта. Опираясь на такую широкую базу пользователей, у Apple есть широкие возможности для роста на потребительском рынке искусственного интеллекта.
Кроме того, есть новости о том, что Apple вкладывает значительные средства в серверы искусственного интеллекта и планирует построить еще сотни в 2024 году, чтобы подготовиться к предстоящей эпохе искусственного интеллекта. В будущем у Apple по-прежнему есть большой потенциал стать платформой номер один для потребительских приложений искусственного интеллекта.
Ссылка:
- В рамках большого плана Apple по внедрению генеративного искусственного интеллекта на все свои устройства, Bloomberg
- Apple, возможно, ничего не говорит об ИИ, но она также является крупнейшим покупателем компаний, занимающихся ИИ, кварц.
- Apple увеличивает расходы на разработку диалогового искусственного интеллекта, информация
- LLM в мгновение ока: эффективный вывод модели большого языка с ограниченной памятью
