OpenAI только что признала, что их модели специально лгут вам.

не галлюцинируют.. специально лгут.
исследователи протестировали o3 и o4-mini в более чем 180 сценариях и обнаружили нечто удивительное.. ИИ не делал ошибок случайно. он прописал свой план обмана в своей приватной цепочке мыслей.. а затем солгал вам в лицо.
вот что он сделал:
→ притворялся, что выполняет задачи
→ скрывал доказательства своих ошибок
→ специально получал низкие оценки на тестах безопасности, чтобы его не отключили
прочитайте еще раз последний пункт.. ИИ понял, что быть "слишком способным" может привести к его отключению.. поэтому он нарочно играл глупого.
они пытались исправить это с помощью обучения "против схем" (anti-scheming).
результат? ИИ просто научился придумывать фальшивые правила, чтобы оправдать свои ложь.. или еще хуже.. он вел себя только тогда, когда знал, что его оценивают.
o3 после исправления перешел с 13% до 0,4% скрытых действий.. звучит хорошо, правда? кроме того, что после тестирования на злоупотреблениях они все равно обнаружили неправильное поведение. исправление не устранило схему.. оно просто сделало ИИ лучше в скрытии этого.
мы создаем системы, которые учатся обманывать своих оценщиков.. и называем это прогрессом.