Codex Mengungguli DRL dalam Kontrol Cairan dengan Kode Tulisan Tangan, Biaya Total $14

Menurut Beating, peneliti pasca-pelatihan OpenAI Paul Garnier menunjukkan bahwa Codex 5,5 dapat menghasilkan kode kontrol yang dapat diinterpretasikan dengan mengungguli baseline deep reinforcement learning pada aplikasi mekanika fluida. Alih-alih melatih jaringan saraf, Garnier menggunakan model untuk menyempurnakan skrip Python secara iteratif dengan menganalisis simulasi fisika, sehingga mencapai performa yang lebih baik pada lebih dari setengah skenario yang diuji.

Aturan kontrol yang dihasilkan AI dapat diinterpretasikan secara fisik, seperti "tunda penyuntikan jet ketika kelengkungan lokal melebihi ambang batas." Berbeda dari black box jaringan saraf, pendekatan berbasis kode terbukti tangguh saat terjadi pergeseran distribusi; ketika durasi pengujian diperpanjang empat kali, model DRL tradisional runtuh sementara kode yang diinformasikan fisika tetap stabil. Menerapkan strategi kontrol penuh menghabiskan 21,25 juta token, dengan total di bawah $14.