Нещодавно NVIDIA зробила цікаву операцію на ринку інференції. Вона придбала бізнес з виробництва чіпів Groq за 200 мільярдів доларів, залучивши ключову команду під керівництвом Джонатана Росса. Цікаво, що Groq продовжує працювати як незалежна компанія, тож це не повна поглинання.

Мене здивувало пояснення Хуана Женьсуна щодо причин цього кроку. Виявляється, ринок інференції не є однорідним. Раніше все зводилося до підвищення продуктивності, і все. Але тепер ситуація змінилася. Користувачі готові платити різні ціни залежно від швидкості відповіді. Якщо інженер може обробляти токени швидше і бути більш продуктивним, він готовий інвестувати в це.

Саме тут вступає Groq. Їхня архітектура LPU відома низькими детермінованими затримками, що є протилежністю тому, що робить NVIDIA зі своїми високопродуктивними GPU. Це ніби вони доповнюють спектр: з одного боку — максимальна продуктивність; з іншого — максимальна швидкість відповіді. Два сегменти ринку, дві різні ціни, одна модель.

На конференції GTC у березні вони представили Groq 3 LPU з процесором Samsung 4 нм. Цифри вражають: у 35 разів вища ефективність інференції на мегават порівняно з Blackwell NVL72. Це той тип диференціації, що відкриває нові ринки замість того, щоб просто конкурувати на існуючому.

Хід Groq тут очевидний: поки NVIDIA домінує у високій продуктивності, вони спеціалізуються на тому, що цінують користувачі, які цінують швидкість понад усе. Дві стратегії, один більш повний екосистемний підхід.