Andrej Karpathy membuka sumber proyek autoresearch, menjalankan otomatisasi eksperimen pelatihan LLM sebanyak seratus kali

Berita Gate News, pada 9 Maret, pendiri Eureka Labs dan salah satu pendiri OpenAI, Andrej Karpathy, mengumumkan rilis terbuka proyek autoresearch pada 8 Maret kemarin. Proyek ini memisahkan alur kerja otomatis tuning AI Agent yang sebelumnya digunakan dalam proyek pelatihan LLM nanochat, sehingga dapat digunakan oleh pengembang. Proyek ini mengadopsi pola desain “Manusia menulis Markdown, AI menulis kode”: pengembang mendefinisikan arah penelitian melalui penulisan file program.md, sementara AI Agent secara mandiri memodifikasi kode train.py yang mencakup model GPT lengkap, optimizer Muon + AdamW, dan loop pelatihan (sekitar 630 baris). Setiap eksperimen dijalankan selama 5 menit tetap, dengan metrik evaluasi tunggal berupa jumlah bit per byte pada validation set (val_bpb). Perbaikan yang lebih baik dari baseline akan disimpan dan dikirimkan, sedangkan yang tidak lebih baik akan dibuang. Dengan kecepatan ini, sekitar 12 eksperimen dapat dilakukan setiap jam, dan sekitar 100 eksperimen dapat diselesaikan dalam satu malam. Contoh yang ditampilkan Karpathy menunjukkan bahwa dari 83 eksperimen, terdapat 15 hasil perbaikan yang efektif. Proyek ini hanya membutuhkan satu GPU NVIDIA (telah diuji pada H100), bergantung pada PyTorch dan beberapa paket perangkat lunak kecil, dan dirilis dengan lisensi MIT. Saat ini, komunitas telah mengembangkan cabang yang kompatibel dengan macOS dan MLX.