Сотрудники OpenAI публично обвинили тесты Бенчмарк Grok3 в искажении результатов

Golden Ten Data, 23 февраля, недавно сотрудник OpenAI публично обвинил компанию xAI Илона Маска, заявив, что результаты тестирования Бенчмарка последней модели искусственного интеллекта Grok3, выпущенные ею, вводят в заблуждение. В ответ сооснователь xAI Игорь Бабушкин настаивал на том, что компания не ошиблась. Графики xAI показывают, что две версии Grok3 — Grok3 Reasoning Beta и Grok3 mini Reasoning — превзошли самую сильную в настоящее время доступную модель OpenAI, o3-mini-high, на AIME 2025. Тем не менее, сотрудники OpenAI поспешили указать на платформе X, что график xAI не включает оценку AIME 2025 в размере o3-mini-high в условиях «cons@64». Бабушкин утверждает на платформе X, что OpenAI в прошлом публиковала подобные вводящие в заблуждение тестовые таблицы Бенчмарка. Хотя эти графики используются для сравнения производительности собственных моделей.