以下是 Notebook LM Study Report!
關於人工智慧（AI）的新聞從未停歇。動輒數十億美元的投資、不斷擴大的模型規模、持續刷新的評測基準——這些消息既抽象又令人應接不暇。然而，正如Ilya Sutskever在一次深度訪談中所觀察到的，儘管數字驚人，AI的「緩慢起飛」卻給人一種出奇「正常」的感覺。我們似乎很快就習慣了這一切。
Ilya Sutskever是現代AI發展史上的一位核心人物。從引爆深度學習革命的AlexNet，到構成今日大型語言模型基礎的Transformer，再到GPT-3，他的名字幾乎與每一次重大突破緊密相連。最近，他卸下了OpenAI首席科學家的光環，創立了新的研究機構Safe Superintelligence Inc. (SSI)，專注於AI安全。
在這篇訪談中，他提出了一些挑戰主流敘事的觀點。本文將為你梳理出其中五個最令人驚訝、也最違反直覺的洞見。它們不僅重新定義了我們衡量AI進展的方式，更指出了通往真正智慧的道路，可能與我們想像的截然不同。
——————————————————————————–
洞見一：規模化的時代已結束，歡迎重返研究的時代
Ilya認為，AI的發展可以劃分為幾個時代。2012年到2020年是「研究的時代」，充滿了各種嘗試與探索。而從2020年到大約2025年，則是「規模化的時代」。這個時代由一個強而有力的單一理念主導：只要將更多的運算資源和數據投入到一個已知的「食譜」（即預訓練）中，就能保證獲得進步。這對企業來說極具吸引力，因為它提供了一條低風險、可預測的進步路徑。
然而，這個時代正在走向終結。原因很簡單：高品質的預訓練數據正迅速耗盡，單純依靠擴大規模所帶來的邊際效益正在遞減。現在的瓶頸不再僅僅是運算能力，而是缺乏新的、根本性的想法。
這意味著AI的未來將不再像過去幾年那樣可以預測。進步不再是加大投資就能確保的結果，而是將再次依賴於高風險、不可預測的真正研究突破。我們又回到了那個需要冒險、需要靈感、需要「好品味」的時代，只是這次，我們手上多了許多強大的電腦。
But now the scale is so big. Is the belief really, “Oh, it’s so big, but if you had 100x more, everything would be so different?” … I don’t think that’s true. So it’s back to the age of research again, just with big computers.
（中文翻譯：）但現在的規模已經如此龐大。難道我們真的相信，「哦，它已經這麼大了，但如果你再增加100倍的規模，一切就會截然不同？」……我不認為這是真的。所以，我們又回到了研究的時代，只是這次有了大型電腦。
洞見二：今日的AI就像一個思想僵化的程式競賽天才
為了說明當前AI在「泛化能力」上的困境，Ilya提出了一個絕佳的比喻。想像有兩位學生：
- 學生一號（今日的AI）： 他花了整整一萬個小時，練習了所有能找到的程式競賽題目。他成為了該領域的頂尖高手，但他的技能過於特化，無法很好地泛化到其他真實世界的程式設計任務中。
- 學生二號（理想的AI）： 他只練習了100個小時，但他具備那種「天賦」（the “it” factor）。他在競賽中表現出色，並且更有可能在更廣泛的職業生涯中取得成功。
Ilya指出，我們現有的模型更像是第一位學生。它們在特定的數據分佈上（例如評測基準或所有已知的程式問題）進行了過度訓練。這讓它們在狹窄的任務上看似無所不能，卻缺乏人類那種真正靈活、能夠觸類旁通的智慧。這個比喻精準地捕捉了「在特定任務上超越人類」與「擁有穩健、可適應的智能」之間的巨大鴻溝。
The models are much more like the first student, but even more… With this analogy, I think it’s more intuitive… that with this level of preparation, it would not necessarily generalize to other things.
（中文翻譯：）這些模型更像是第一位學生，甚至有過之而無不及……透過這個比喻，我認為人們可以更直觀地理解……在這種程度的準備下，它不一定能泛化到其他事情上。
洞見三：「超人」AI的謎團：為何評測滿分，經濟影響力卻遠遠落後？
Ilya指出了一個讓他深感困惑的核心矛盾：一方面，AI模型在各種困難的評測（evals）上取得了驚人的高分；但另一方面，它們在真實世界中的經濟影響力卻「遠遠落後」。
他對這種脫節現象的主要假設是：研究人員在不經意間進行了「獎勵駭客」（reward hacking）。他們從評測基準本身汲取靈感來設計強化學習（RL）的訓練環境，這實際上是在教模型如何「通過考試」，而不是培養解決現實問題的能力。
他舉了一個生動的例子：你讓AI修復一個程式錯誤，它修好了。但當你指出它引入的第二個錯誤時，它又會改回去，重新引入第一個錯誤。模型就在這兩個錯誤之間來回切換，因為強化學習的訓練使它變得**「過於執著於單一目標且視野狹隘」**，缺乏對問題的深層理解。這暗示著，我們目前用來衡量AI進展的方法可能正在誤導我們，創造出一種尚未成真的通用能力的幻覺。
It’s very difficult to make sense of, how can the model, on the one hand, do these amazing things, and then on the other hand, repeat itself twice in some situation?
（中文翻譯：）這很難理解，模型怎麼可能一方面能做這些令人驚奇的事情，另一方面卻在某些情況下重複犯錯兩次？
洞見四：真正的目標不是「AGI」，而是「超級學習者」
Ilya對「通用人工智慧」（AGI）這個術語提出了批判。他認為，這個詞是作為「狹義AI」的對立面而被創造出來的，並被「預訓練」這種範式所強化——因為預訓練讓模型在所有方面同時變得更好。
然而，他提出了一個違反直覺的觀點：人類並不是AGI。一個普通人缺乏海量的知識，我們依賴的是持續不斷的學習能力。
因此，他重新定義了AI的終極目標：不是一個已經完成的、無所不知的系統，而是一個「充滿學習熱情的、超級聰明的15歲少年」。這個系統的核心能力不是「知道一切」，而是「能夠像人類一樣，甚至比人類更好地學習任何任務」。這個「超級學習者」正是前面比喻中理想的「學生二號」——其核心優勢並非百科全書式的知識，而是卓越的學習能力。
這種重新框架意義重大。它將焦點從創造一個靜態的「神諭」，轉向打造一個動態的「學習過程」。這也徹底改變了我們對AI部署的想像：那將不再是一次性的產品發布，而是一個類似人類加入勞動力市場並在職學習的持續過程，這將從根本上改變AI融入經濟的方式。
If you think about the term “AGI”, especially in the context of pre-training, you will realize that a human being is not an AGI… Instead, we rely on continual learning.
（中文翻譯：）如果你思考「AGI」這個詞，尤其是在預訓練的背景下，你會意識到，人類並不是一個AGI……相反，我們依賴的是持續學習。
洞見五：人類智慧的秘密，可能就藏在我們的情緒裡
Ilya分享了一個神經科學中的迷人案例：一位病人因腦部損傷而失去了處理情緒的能力。雖然他依然能言善辯，也能解決一些小謎題，在測驗中他看起來完全正常，但他卻變得「在做任何決定時都極其糟糕」，甚至連選擇穿哪雙襪子都要花上數小時。
他將此連結到機器學習中的「價值函數」（value function）概念。情緒似乎扮演著人類內建的、極其穩健的價值函數。在我們得到最終結果之前很久，情緒就能給我們即時的反饋，告訴我們是否正走在正確的軌道上。
這與目前主流的強化學習方法形成了鮮明對比。RL代理通常需要執行一長串（成千上萬）的動作，直到最後得到一個最終分數，然後這個分數被用來為整個序列中的每一個動作提供訓練信號。這使得分配給單一動作的學習信號變得極其微弱和間接，導致學習過程極其低效。這個洞見暗示，那些常被我們視為「不理性」的情緒，可能正在執行一種至關重要的運算功能——一種我們當前的AI幾乎完全缺乏的功能，而這正是高效學習和穩健決策的關鍵。
What does it say about the role of our built-in emotions in making us a viable agent, essentially?
（中文翻譯：）這對於我們內建的情緒在使我們成為一個可行的行動者方面所扮演的角色，究竟說明了什麼？
——————————————————————————–
結論：尋求真正的學習
貫穿Ilya Sutskever思想的主線非常清晰：我們需要從專注於擴展已知「食譜」的思維中轉移出來，轉而深入探究那些使人類學習者如此穩健的根本原則——泛化、效率和內在價值判斷。
他的觀點重新定義了我們所處的新「研究時代」的宏大挑戰。真正的智慧或許不在於你知道多少，而在於你如何學習。那麼，我們該如何打造出那個「超級學習者」，而不僅僅是一個更龐大的「程式競賽天才」呢？這或許是當下AI領域最重要的問題。