Refleksi Tian Yuandong 2025: Dari Kepergian Perusahaan hingga Kewirausahaan AI dan Penelitian Bersejarah

Tahun 2025 menandai transisi penting bagi Tian Yuandong, seorang veteran riset AI yang beralih dari menghadapi tekanan korporat di Meta ke peluncuran usaha baru sekaligus menerbitkan karya inovatif dalam penalaran model besar dan interpretabilitas. Berikut adalah refleksi akhir tahunnya tentang peristiwa tak terduga, terobosan riset, dan keyakinan yang semakin mendalam tentang masa depan AI.

Hasil Kelima yang Tak Terduga: Ketika Rencana Karir Bertemu Realitas

Pada akhir Januari 2025, Tian diundang bergabung dengan tim respons krisis Meta untuk Llama 4. Dengan pengalaman lebih dari satu dekade dalam pembelajaran penguatan, dia telah secara metodis menyusun matriks hadiah 2x2 sebelumnya, memprediksi empat kemungkinan hasil. Namun kenyataan memiliki rencana lain—sebuah skenario kelima yang tak terduga terungkap, yang memperdalam pemahamannya tentang kompleksitas organisasi.

Meski proyek akhirnya mengalami hambatan, bulan-bulan intensif tersebut menghasilkan keuntungan intelektual yang tak terduga. Tian dan timnya menyelami tantangan inti yang mendefinisikan pembelajaran penguatan modern: stabilitas pelatihan, keselarasan pelatihan-inferensi, optimisasi arsitektur model, interaksi antara fase pra-pelatihan dan pelatihan di tengah, algoritma rantai penalaran, dan desain kerangka kerja pasca-pelatihan. Pengalaman ini secara fundamental mengubah metodologi risetnya.

Perpisahan itu sendiri kurang mengejutkan dibandingkan waktunya. Setelah lebih dari satu dekade di Meta, Tian secara mental sudah mempersiapkan kepergian, mengadopsi sikap internal “biarkan saja terjadi saat waktunya.” Yang belum sepenuhnya dia antisipasi adalah bagaimana transisi paksa ini akan memacu babak berikutnya dalam hidupnya. Alih-alih terjebak dalam kegagalan, dia memandangnya secara filosofis: “Kesialan di dunia korporat menjadi keberuntungan bagi mereka yang membangun sesuatu yang baru.” Gejolak tahun 2025 memberinya bahan melimpah untuk proyek-proyek masa depan, termasuk karya novel yang mulai dia eksplorasi.

Perubahan karir ini mengingatkan pola dari awal 2021, ketika refleksi akhir tahun Tian yang jujur tentang penolakan makalah berulang secara tak terduga memanggilnya ke pertemuan tegang dengan pimpinan. Alih-alih menyerah pada keraguan diri, dia secara sadar mengadopsi narasi internal tentang promosi, berjalan di koridor seolah-olah sudah naik pangkat. Enam bulan kemudian, promosi itu pun terwujud. Lebih luar biasa lagi, karya tahun 2021 yang tampaknya diabaikan itu kemudian mendapatkan Honorable Mention Best Paper di ICML 2021, menjadi kontribusi dasar dalam studi pembelajaran representasi.

Pada akhir Oktober 2025, setelah transisinya diumumkan secara publik, saluran komunikasi Tian dipenuhi ratusan pesan dan undangan rapat setiap hari. Di tengah banyak tawaran dari hampir semua perusahaan teknologi besar, dia membuat pilihan yang sengaja: memanfaatkan masa emasnya untuk mendirikan startup AI baru. Meski detailnya masih dirahasiakan, keputusan ini mencerminkan keyakinan bahwa kewirausahaan menawarkan jalur yang tidak bisa dicapai oleh lingkungan korporat, sekecil apapun prestisenya.

Membuka Kotak Hitam: Revolusi Riset Tian dalam Penalaran dan Interpretabilitas

Lanskap intelektual tahun 2025 terbentuk di sekitar dua front riset yang saling terkait: memperbesar kemampuan penalaran model besar dan secara sistematis mengurai bagaimana model-model ini benar-benar bekerja. Ini bukan sekadar usaha sampingan—mereka menjadi tulang punggung output akademik Tian dan, menurut dia, masa depan ilmu AI.

Katalisnya datang dengan rilis pekerjaan penalaran ruang laten kontinu (coconut, COLM’25) pada Desember 2024, yang memicu gelombang riset sepanjang 2025. Di seluruh bidang, para peneliti mengeksplorasi penerapannya pada pembelajaran penguatan dan optimisasi pra-pelatihan, berjuang dengan efisiensi dan skalabilitas. Meski tim Tian sempat dialihkan ke keadaan darurat Llama 4, trajektori ini membuatnya senang. Awal 2025 menghadirkan validasi teoretis: “Penalaran dengan Superposisi” (NeurIPS’25) secara ketat memetakan di mana penalaran ruang laten kontinu mengungguli alternatif, menarik perhatian akademik yang besar.

Secara paralel, grup Tian meneliti masalah terbalik—efisiensi inferensi. Kerangka Token Assorted (ICLR’25) mempelajari token laten diskret melalui VQVAE, lalu mengintegrasikannya bersama token teks selama pasca-pelatihan, secara bersamaan memangkas biaya komputasi dan meningkatkan performa. DeepConf mengambil pendekatan berbeda: dengan mengevaluasi tingkat kepercayaan dalam setiap token yang dihasilkan, secara selektif menghentikan jalur penalaran berkepercayaan rendah, secara dramatis mengurangi konsumsi token sekaligus bahkan meningkatkan akurasi suara mayoritas. ThreadWeaver mempercepat inferensi dengan menghasilkan rantai penalaran paralel dan melakukan pasca-pelatihan secara kolektif. Terobosan lain termasuk melatih model penalaran pada dLLM melalui pembelajaran penguatan (Sandwiched Policy Gradient) dan bereksperimen mengajarkan model kecil untuk menalar (MobileLLM-R1).

Namun, bidang riset yang paling menyerap investasi intelektual Tian adalah interpretabilitas—khususnya, grokking (transisi fase mendadak dari menghafal ke generalisasi). Selama dua tahun, dia fokus pada dinamika pembelajaran representasi, menerangkan mengapa model runtuh di bawah kondisi tertentu. Tapi sebuah misteri mendasar tetap: representasi apa yang benar-benar terbentuk, bagaimana mereka memetakan ke struktur data, dan apa generalisasi yang dimungkinkan?

Jalannya cukup berat dan awalnya tidak jelas arahnya. Pada 2024, karya COGS (NeurIPS’25) hanya mampu mengatasi kasus-kasus terbatas, membuat Tian merasa tidak puas. Setelah lebih dari setahun berjuang dan berdialog intensif dengan GPT-5, muncul terobosan: makalah teoretis tentang hukum skalabilitas yang dapat dibuktikan, melampaui analisis regime linier sebelumnya (berbasis NTK) dan menerangi dinamika pelatihan yang mengatur munculnya fitur. Meski skenario yang dianalisis masih terbatas, sebuah jendela analisis baru terbuka ke mekanisme pembelajaran yang efektif.

Kontribusi akhir tahun Tian, “The Path Not Taken,” mungkin yang paling mengungkap. Ia menjelaskan di tingkat bobot mengapa pembelajaran penguatan dan fine-tuning terawasi (SFT) menghasilkan hasil yang sangat berbeda. SFT menyebabkan overfitting dan lupa secara katastrofik karena data pelatihan membiasakan komponen bobot utama, merusak fondasi model. RL, sebaliknya, mempertahankan komponen bobot utama dengan menggunakan data on-policy, hanya mempengaruhi komponen minor—yang tersebar jarang dan sangat terlihat saat kuantisasi bf16—sehingga menghindari lupa secara katastrofik.

Mengapa Interpretabilitas Penting: Dua Masa Depan di Mana Penjelasan AI Menjadi Esensial

Banyak yang menganggap interpretabilitas sebagai hal sampingan dalam pengembangan AI, tapi Tian berpendapat berbeda: ini adalah hal eksistensial. Pertimbangkan dua skenario kontras.

Skenario satu: Manusia mencapai AGI atau ASI melalui skala yang terus berkembang, menjadikan tenaga manusia tidak lagi signifikan sementara superintelligence kotak hitam yang monolitik menyelesaikan semua tantangan. Dalam dunia ini, pertanyaan utama menjadi: Bagaimana memastikan superintelligence ini tetap benevolent, menghindari penipuan tersembunyi? Interpretabilitas menjadi pengaman utama.

Skenario dua: Paradigma skala akhirnya kehabisan tenaga, sumber daya eksponensial tidak mampu lagi didukung, dan manusia harus meninggalkan jalur saat ini. Menghadapi plateau ini, para peneliti harus membongkar “mengapa ini berhasil, dan apa yang menyebabkan batasan?” Refleksi ini secara tak terelakkan menghidupkan kembali riset dasar—dan interpretabilitas muncul sebagai frontier alternatif.

“Di kedua masa depan, interpretabilitas menyelamatkan keadaan,” kata Tian. Bahkan di dunia di mana AI menjadi serba tahu, serba kuasa, dan sepenuhnya selaras, rasa ingin tahu manusia akan mendorong penyelidikan mekanisme kemampuan superhuman. Kotak hitam, sekecil apapun efektivitasnya, menimbulkan ketidakpastian epistemik.

Tantangan ke depan melampaui pencarian sirkuit empiris yang masih dalam tahap embrio. Perbatasan nyata dimulai dari prinsip-prinsip dasar: Mengapa model, yang dilatih melalui gradient descent pada data terstruktur melalui arsitektur tertentu, secara tak terelakkan mengarah ke fitur yang terpisah, jarang, ber-rank rendah, modular, dan dapat dikomposisi? Regimen hiperparameter apa yang mengatur munculnya struktur ini? Menjawab pertanyaan ini membutuhkan derivasi munculnya fitur secara tak terelakkan dari persamaan gradient descent itu sendiri—berpindah dari pengumpulan data sejarah alami (seperti pengamatan teliti Tycho Brahe) ke penurunan prinsip fisika (seperti hukum Newton).

Saat ini, Tian berpendapat, era AI dipenuhi banyak “Tycho Brahe”—peneliti yang secara teliti mengkatalogi perilaku dan data. Beberapa “Kepler” mengusulkan hipotesis penjelasan. Tapi belum ada “Newton” yang muncul untuk merumuskan prinsip universal dari mana semua hal lain mengikuti. Ketika sosok itu tiba, bidang ini akan mengalami revolusi besar, membuka jalan bagi desain model generasi berikutnya yang didasarkan bukan pada empirisme, melainkan pada hukum fundamental. Tian curiga, momen itu akan mendefinisikan ulang riset AI dan perannya dalam masa depan manusia.