Реинфорсинг-обучение раньше было действительно сложным — оценка действий агента, определение правильных наград и штрафов, attribution результатов к конкретным компонентам. Это было запутанно.

Теперь ситуация кардинально изменилась. Большие языковые модели (LLMs) теперь берут на себя основную работу по оценке задач. Благодаря тому, что LLMs управляют оценкой и обратной связью, то, что раньше требовало кропотливого ручного проектирования, стало возможным алгоритмически. Узкое место исчезло.