田遠東的2025年反思：從離開企業到人工智慧創業與里程碑式研究

2025年標誌著天元東，一位資深的人工智慧研究者，從Meta公司應對企業壓力的日常轉向創立新創企業，同時在大型模型推理與可解釋性方面發表突破性研究的關鍵轉折點。以下是他對於意外轉折、研究突破以及對AI未來更深信念的年終回顧。

意料之外的第五結果：當職業規劃遇上現實

2025年1月底，天元東受邀加入Meta的Llama 4危機應對團隊。憑藉超過十年的強化學習專業，他事先系統性地設計了一個2x2的獎勵矩陣，預測四種可能的結果。然而，現實卻另有安排——一個意料之外的第五種情境展開，讓他對組織的複雜性有了更深的理解。

儘管最終項目遭遇挫折，那些密集的幾個月卻帶來了意想不到的智識收穫。天元東與團隊深入探討了現代強化學習的核心挑戰：訓練穩定性、訓練與推理的對齊、模型架構優化、預訓練與中期訓練階段的相互作用、推理鏈算法，以及訓練後的框架設計。這段經歷徹底改變了他的研究方法。

這次分離本身並不令人驚訝，反而是時間點令人意外。在Meta工作逾十年，天元東早已心理準備好最終離開，採取「順其自然」的內在態度。他未曾完全預料的是，這次被迫轉型竟成為他下一篇章的催化劑。他沒有沉迷於挫折，而是以哲學角度重新詮釋：「企業界的不幸，對於那些在創造新事物的人來說，是幸運。」2025年的動盪為他未來的項目提供了豐富素材，包括他開始探索的小說創作。

這個職業轉折點呼應了2021年初的一個模式：天元東坦率地回顧那年末的多次論文被拒，意外引發他與領導層的緊張會議。他沒有屈服於自我懷疑，而是有意識地在內心建立一個晉升的敘事，仿佛已經升職。六個月後，這個晉升終於實現。更令人驚訝的是，那個當時似乎被忽視的2021年工作，後來在2021年7月獲得ICML最佳論文榮譽提名，成為表徵學習領域的重要基礎貢獻。

到2025年10月底，公開轉型消息傳出後，天元東的溝通渠道每天湧入數百條訊息與會議邀請。在幾乎所有主要科技公司都提出的多種提案中，他做出了一個深思熟慮的決定：利用自己最黃金的歲月，共同創立一家新的AI初創公司。雖然細節尚未公開，但這個決定反映出一個信念：創業提供的舞台，是企業環境（即使再有聲望）所無法比擬的。

打開黑箱：天元東在推理與可解釋性研究的革命

2025年的知識格局，聚焦於兩個緊密相連的研究前沿：擴展大型模型的推理能力，以及系統性解碼這些模型的運作機制。這些並非次要的追求——它們構成了天元東學術產出的核心，也被他視為AI科學的未來。

催化點來自2024年12月發布的連續潛在空間推理（coconut，COLM’25）工作，這引發了2025年的研究熱潮。在整個領域，研究者探索其在強化學習與預訓練優化中的應用，努力解決效率與擴展性問題。儘管天元東的團隊因Llama 4的緊急事件而轉向，但這條路徑令他欣喜。2025年初，他獲得理論驗證：「疊加推理」（NeurIPS’25）嚴謹地描繪出何時連續潛在空間推理優於其他方法，並吸引大量學術關注。

同時，天元東的團隊也攻克逆向問題——推理效率。Token Assorted框架（ICLR’25）利用VQVAE學習離散潛在標記，並在訓練後將其與文本標記結合，既大幅降低計算成本，又提升性能。DeepConf則採用不同策略：通過評估每個生成標記的信心程度，選擇性地終止低信心推理路徑，顯著減少標記消耗，甚至提升多數投票的準確率。ThreadWeaver則通過並行生成推理鏈並集體後訓練，加速推理過程。其他突破還包括用強化學習訓練推理模型（Sandwiched Policy Gradient）以及嘗試教導較小模型進行推理（MobileLLM-R1）。

然而，天元東最深的智識投入集中在可解釋性——特別是“突變”（grokking），即從記憶到泛化的突發性相變。兩年來，他專注於表示學習動態，揭示模型在特定條件下崩潰的原因。但一個根本性謎題仍未解開：哪些表示真正形成？它們如何映射到資料結構？又能帶來何種泛化能力？

這條路最初艱難且缺乏明確方向。2024年，COGS工作（NeurIPS’25）僅在少數特殊案例中取得進展，令天元東不滿意。經過一年多的努力與與GPT-5的深入對話，終於取得突破：一篇關於可證明擴展定律的理論論文，超越了以往線性範圍分析（NTK方法），揭示了影響特徵出現的訓練動態。雖然分析場景仍有限，但為理解有效學習的機制打開了一扇新的分析窗口。

天元東的年終貢獻《未走的路》或許最具啟示性。它從權重層面解釋了為何強化學習與監督微調（SFT）會產生截然不同的結果。SFT導致過擬合與災難性遺忘，因為訓練資料偏向主要權重成分，破壞模型基礎。而RL則通過使用策略內資料，保留主要權重成分，只影響次要成分——這些成分分布稀疏，尤其在bf16量化下更為明顯，從而避免災難性遺忘。

為何可解釋性如此重要：AI可解釋性成為兩個未來的關鍵

許多人認為可解釋性是AI發展的邊緣議題，但天元東持不同看法：它是存亡之道。想像兩種對比場景。

**場景一：**人類通過持續擴展模型，實現AGI或ASI，讓人類勞動幾乎成為過去，超級黑箱的超智能解決所有挑戰。在這個世界，最重要的問題是：我們如何確保這個超智能保持善意，避免隱藏的欺騙？可解釋性成為關鍵的安全保障。

**場景二：**擴展範式最終走到盡頭，資源需求呈指數級增長，連資金充裕的努力也難以為繼，人類不得不放棄當前路徑。面對這個瓶頸，研究者必須逆向工程“為何這樣有效，並且為何到達天花板？”這種反思不可避免地會喚醒基礎研究——而可解釋性則成為另一個前沿。

“在這兩個未來中，可解釋性都能扭轉乾坤，”天元東指出。即使在AI變得全知、全能、完美對齊的世界裡，人類的好奇心仍會驅使我們探索超人能力的運作機制。黑箱，無論多麼高效，都會引發認知上的不安。

未來的挑戰超越了經驗式的電路搜尋，這仍處於萌芽階段。真正的前沿是從第一原理出發：為何經由梯度下降在結構化資料上訓練的模型，必然收斂到解耦、稀疏、低秩、模組化、可組合的特徵？哪些超參數範圍控制這些新興結構？回答這些問題，需將特徵出現的機制從梯度下降方程中推導出來——將可解釋性從自然史資料收集（如布拉赫的細緻觀測）轉向物理學式的原理推導（如牛頓定律）。

目前，天元東認為，AI時代充斥著許多“布拉赫”——研究者細緻記錄行為與資料。有些“開普勒”提出解釋假說，但尚未出現“牛頓”，能從中提煉出普遍原則，讓一切皆由此而來。當那個人物出現時，整個領域將迎來革命性變革，為下一代模型設計奠定基礎，不再依賴經驗主義，而是建立在根本法則之上。天元東相信，那一刻，將重新定義AI研究及其在人類未來中的角色。