苦澀的宗教：人工智慧圍繞擴展套件法則展開的聖戰

在人工智慧領域，信仰與技術的交匯形成了一場激烈的辯論，圍繞著「擴展法則」的有效性與未來發展展開。本文探討了這一「苦澀宗教」的興起、分歧以及可能的影響，揭示了信仰與科學之間的複雜關係。人工智慧社群陷入了一場關於其未來以及是否有足夠的規模來創造上帝的教義之爭。本文源自 Mario Gabriele 所著 文章 ，由 Block unicorn 整理、編譯。
（前情提要： 馬斯克的xAI完成60億美元C輪融資，輝達、貝萊德、a16z…一眾行業大咖參投 ）
（背景補充： 輝達明年推出人形機器人運算平台「Jetson Thor」物理AI的ChatGPT時刻降臨？ ）

 

人工智慧的聖戰

我寧願把我的一生過得像有上帝一樣，等到死才發現上帝是不存在的，也不願意過得像沒有上帝一樣，等到死才發現上帝是存在的。—— 布萊茲・帕斯卡

宗教是一件有趣的事情。可能因為它在任何方向上都是完全無法證明的，也可能就像我最喜歡的一句話：「你不能用事實來對抗感情。」

宗教信仰的特點是，在信仰上升的過程中，它們以一種難以置信的速度加速發展，以至於幾乎無法懷疑上帝的存在。當你周圍的人越來越相信它時，你怎麼能懷疑一個神聖的存在呢？當世界圍繞一個教義重新排列自己時，哪裡還有異端的立足之地？當寺廟和大教堂、法律和規範都按照一種新的、不可動搖的福音來安排時，哪裡還有反對的空間呢？

當亞伯拉罕宗教首次出現並傳播到各大洲時，或者佛教從印度傳播到整個亞洲時，信仰的巨大動能創造了一個自我強化的迴圈。隨著更多的人皈依，並圍繞這些信仰建立了複雜的神學體系和儀式，質疑這些基本前提變得越來越困難。在一片輕信的海洋中，成為異端並不容易。宏偉的教堂、複雜的宗教經文以及繁榮的修道院，都作為神聖存在的物理證據。

但宗教的歷史也告訴我們，這樣的結構是多麼容易崩潰。隨著基督教傳播到斯堪的納維亞半島，古老的北歐信仰在僅僅幾代人的時間裡就崩潰了。古埃及的宗教體系持續了數千年，最終在新的、更持久的信仰崛起並在更大的權力結構出現時消失了。即便是在同一種宗教內部，我們也看到了戲劇性的分裂 —— 宗教改革撕裂了西方基督教，而大分裂則導致了東西教會的分裂。這些分裂往往從看似微不足道的教義分歧開始，逐漸演變成完全不同的信仰體系。

聖典

上帝是超越所有智力思維層次的隱喻。就是這麼簡單。—— 約瑟夫・坎貝爾

簡單地說，相信上帝就是宗教。也許創造上帝也沒什麼不同。

自誕生以來，樂觀的人工智慧研究人員就將他們的工作想像成神創論 —— 即上帝的創造。在過去幾年中，大型語言模型 (LLMs) 的爆炸式發展，進一步的堅定了信徒們的信念，認為我們正走在一條神聖的道路上。

它也證實了 2019 年寫的一篇部落格文章。儘管在人工智慧領域外的人們直到最近才知道它，但加拿大電腦科學家理查德・薩頓的《苦澀的教訓》已成為社群中越來越重要的文字，從隱祕的知識逐漸演變成一種新的、包羅永珍的宗教基礎。

在 1,113 個字中（每個宗教都需要神聖的數位），薩頓總結了一項技術觀察：「從 70 年的人工智慧研究中可以學到的最大教訓是，利用計算的通用方法最終是最有效的，而且是巨大的優勢。」人工智慧模型的進步得益於計算資源的指數級增加，乘著摩爾定律的巨大波浪。

與此同時，薩頓指出，人工智慧研究中許多工作集中在通過專門的技術來優化效能 —— 增加人類知識或狹窄的工具。儘管這些優化可能在短期內有所幫助，但在薩頓看來，它們最終是浪費時間和資源的，猶如在一個巨大的浪潮到來時，去調節衝浪板的鰭或嘗試新的蠟。

這就是我們所謂的「苦澀宗教」的基礎。它只有一條戒律，社群中通常稱之為「擴展套件法則」：指數級增長的計算推動效能；其餘都是愚蠢的。

苦澀宗教從大型語言模型（LLMs）擴展套件到世界模型，現在正通過生物學、化學和具身智慧（機器人學和自動駕駛車輛）這些未被轉化的聖殿迅速傳播。

然而，隨著薩頓學說的傳播，定義也開始發生變化。這是所有活躍而充滿生命力的宗教的標誌 —— 爭論、延伸、註釋。「擴展套件法則」不再僅僅意味著擴展套件計算（方舟不只是一艘船），它現在指的是各種旨在提升變壓器和計算效能的方法，其中還帶有一些技巧。

現在，經典囊括了優化 AI 堆疊每個部分的嘗試，從應用於核心模型本身的技巧（合並模型、專家混合 (MoE) 和知識提煉）一直到生成合成資料來餵養這些永遠飢餓的神，其間還進行了大量的實驗。

交戰的教派

最近，人工智慧社群中掀起的一個問題，帶有聖戰的氣息，就是「苦澀的宗教」是否仍然正確。

本週，哈佛大學、斯坦福大學和麻省理工學院發表了一篇名為《精度的擴展套件法則》的新論文，引發了這場衝突。該論文討論了量化技術效率增益的終結，量化是一系列改善人工智慧模型效能並對開源生態系統大有裨益的技術。艾倫人工智慧研究所的研究科學家 Tim Dettmers 在下面的帖子中概述了它的重要性，稱其為「很長一段時間以來最重要的論文」。它代表了過去幾周不斷升溫的對話的延續，並揭示了一個值得注意的趨勢：兩個宗教的日益鞏固。

OpenAI 執行長 Sam Altman 和 Anthropic 執行長 Dario Amodei 屬於同一個教派。兩人都自信滿滿地表示，我們將在未來大約 2-3 年內實現通用型人工智慧 (AGI)。Altman 和 Amodei 都可以說是最依賴「苦澀宗教」神聖性的兩位人物。他們的所有激勵措施都傾向於過度承諾，製造最大的炒作，以在這個幾乎完全由規模經濟主導的遊戲中積累資本。如果擴展套件法則不是「阿爾法與歐米伽」，最初和最後、開始和結束，那麼你需要 220 億美元做什麼？

前 OpenAI 首席科學家 Ilya Sutskever 堅持不同的一套原則。他與其他研究人員（包括許多來自 OpenAI 內部的研究人員，根據最近洩密的資訊）一起認為，擴展套件正在接近上限。這個團體認為，要維持進展並將 AGI 帶入現實世界，必然需要新的科學和研究。

Sutskever 派合理地指出，Altman 派的持續擴展套件理念在經濟上是不可行的。正如人工智慧研究員 Noam Brown 所問：「畢竟，我們真的要訓練花費數千億美元或數兆美元的模型嗎？」這還不包括如果我們將計算擴展套件從訓練轉移到推理所需的額外數十億美元的推理計算支出。

但真正的信徒非常熟悉對手的論點。你家門口的傳教士能夠輕鬆應對你的享樂主義三難困境。對於 Brown 和 Sutskever 而言，Sutskever 派指出了擴展套件「測試時計算」的可能性。與迄今為止的情況不同，「測試時計算」不是依靠更大的計算來改進訓練，而是將更多的資源用於執行。

當人工智慧模型需要回答你的問題或生成一段程式碼或文字時，它可以提供更多的時間和計算。這相當於將你的注意力從備考數學轉移到說服老師給你多一個小時並允許你帶計算器。對於生態系統中的許多人來說，這是「苦澀宗教」的新前端，因為團隊正在從正統的預訓練轉向後訓練 / 推理的方法。

指出其他信仰體系的漏洞，批判其他教義而不暴露自己的立場，這倒是很容易。那麼，我自己的信仰是什麼呢？首先，我相信當前這一批模型會隨著時間的推移帶來非常高的投資回報。隨著人們學會如何繞過限制並利用現有的 API，我們將看到真正創新的產品體驗的出現並取得成功。

我們將超越人工智慧產品的擬物化和增量階段。我們不應將其視為「通用型人工智慧」（AGI），因為那種定義存在框架上的缺陷，而應看作是「最小可行智慧」，能夠根據不同的產品和使用場景進行訂製。

至於實現超級人工智慧（ASI），則需要更多的結構。更明確的定義和劃分將幫助我們更有效地討論各自可能帶來的經濟價值與經濟成本之間的權衡。例如，AGI 可能為一部分使用者提供經濟價值（僅僅是一個區域性的信仰體系），而 ASI 則可能展現出不可阻擋的複合效應，並改變世界、我們的信仰體系以及我們的社會結構。我不認為僅憑擴展套件變壓器就能實現 ASI；但遺憾的是，正如有些人可能會說的那樣，這只是我的無神論信仰。

失落的信仰

人工智慧社群無法在短期內解決這場聖戰；在這場情感的爭鬥中沒有可以拿出來的事實依據。相反，我們應該將注意力轉向人工智慧質疑其對擴展套件法則的信仰意味著什麼。信仰的喪失可能會引發連鎖反應，超越大型語言模型（LLMs），影響所有行業和市場。

必須指出的是，在人工智慧 / 機器學習的大多數領域，我們尚未徹底探索擴展套件法則；未來還會有更多的奇蹟。然而，如果懷疑真的悄然出現，那麼對於投資者和建設者來說，將變得更加困難，難以對像生物技術和機器人等「曲線早期」類別的終極效能狀態保持同樣高的信心。

換句話說，如果我們看到大型語言模型開始放緩並偏離被選定的道路，那麼許多創辦人和投資者在相鄰領域的信仰體系將崩塌。

這是否公平是另一個問題。

有一種觀點認為，「通用型人工智慧」自然需要更大的規模，因此，專業化模型的「品質」應該在較小的規模上展現，從而使它們在提供實際價值之前不容易遇到瓶頸。如果一個特定領域的模型只攝取一部分資料，因此只需要一部分計算資源來達到可行性，麼它難道不應該有足夠的改進空間嗎？

這從直覺上看是有道理的，但我們反覆發現，關鍵往往不在於此：包括相關或看似不相關的資料，常常能夠提高看似不相關的模型的效能。例如，包括程式設計資料似乎有助於提升更廣泛的推理能力。

從長遠來看，關於專業化模型的爭論可能是無關緊要的。任何構建 ASI（超級人工智慧）的人，最終的目標很可能是一個能夠自我複製、自我改進的實體，具備在各個領域內發揮無限的創造力。

Holden Karnofsky，前 OpenAI 董事會成員及 Open Philanthropy 創辦人，稱這種創造物為「PASTA」（自動化科學和技術進步的過程）。Sam Altman 的原始盈利計劃似乎依賴於類似的原則：「構建 AGI，然後詢問它如何獲得回報。」這是末世論的人工智慧，是最終的命運。

像 OpenAI 和 Anthropic 這樣的大型 AI 實驗室的成功，激發了資本市場支援類似「X 領域的 OpenAI」實驗室的熱情，這些實驗室的長期目標是圍繞在其特定垂直行業或領域內構建「AGI」。這種規模分解的推斷將導致正規化轉變，遠離 OpenAI 模擬，轉向以產品為中心的公司 —— 這我在 Compound 的 2023 年年會上提出了這種可能性。

與末世論模型不同，這些公司必須展示一系列的進展。它們將是基於規模工程問題建立的公司，而不是進行應用研究的科學組織，最終目標是構建產品。

在科學領域，如果你知道自己在做什麼，那你就不應該做這件事。在工程領域，如果你不知道自己在做什麼，那你也不應該做這件事。—— 理查德・漢明

信徒們不太可能在短期內失去他們的神聖信仰。如前所述，隨著宗教的激增，它們編纂了一套生活和崇拜的劇本和一套啟發式方法。它們建造了實體的紀念碑和基礎設施，加強了他們的力量和智慧，並表明它們「知道自己在做什麼」。

在最近的一次採訪中，Sam Altman 談到 AGI 時說了這樣的話（重點是我們）：

這是我第一次覺得我們真的知道該做什麼。從現在到構建一個 AGI 仍然需要大量的工作。我們知道有一些已知的未知數，但我認為我們基本上知道該做什麼，這將需要一段時間；這會很困難，但這也非常令人興奮。

審判

在質疑《苦澀的宗教》時，擴展套件懷疑論者正在清算過去幾年最深刻的討論之一。我們每個人都曾以某種形式進行過這樣的思考。如果我們發明了上帝，會發生什麼？那個上帝會多快出現？如果 AGI（通用型人工智慧）真的、不可逆地崛起，會發生什麼？

像所有未知且複雜的話題一樣，我們很快就將自己的特定反應儲存在大腦中：一部分人對它們即將變得無關緊要感到絕望，大多數人則預計會是毀滅和繁榮的混合，最後的一部分人則預計人類會做我們最擅長的事情，繼續尋找要解決的問題並解決我們自己創造的問題，從而實現純粹的富足。

任何有很大利害關係的人都希望能夠預測，如果擴展套件定律成立，並且 AGI 在幾年內到來，世界對他們來說會是什麼樣子。你將如何侍奉這個新的上帝，這個新的上帝又將如何服務於你？

但是，如果停滯的福音趕走了樂觀主義者，該怎麼辦呢？如果我們開始認為，也許連上帝都會衰退，該怎麼辦呢？在之前的一篇文章《機器人 FOMO、規模定律與技術預測》中，我寫道：

我有時會想，如果擴展套件定律不成立會發生什麼，這是否會與收入流失、增長放緩和利率上升對許多技術領域的影響相似。我有時還會想，擴展套件定律是否完全成立，這是否會與許多其他領域的先行者及其價值獲取的商品化曲線相似。

「資本主義的好處在於，無論怎樣，我們都會花費大量的錢來找出答案。」

對創辦人和投資者來說，問題變成了：接下來會發生什麼？每個垂直領域中有可能成為偉大產品構建者的候選人正在逐漸為人所知。個行業中還會有更多這樣的人，但這個故事已經開始上演。新的機遇又從何而起呢？

如果擴展套件停滯，我預計將看到一波倒閉和合並的浪潮。剩下的公司將越來越多地將重點轉向工程，這一進化我們應當通過追蹤人才流動來預見。我們已經看到一些跡象表明，OpenAI 正朝著這個方向發展，因為它越來越多地將自己產品化。這一轉變將為下一代創業公司開闢空間，通過依賴創新的應用研究和科學，而非工程，進行「彎道超車」，在開闢新路徑的嘗試中超越現有企業。

宗教的教訓

我對技術的看法是，任何看起來明顯具有複利效應的事物通常都不會持續很長時間，而每個人普遍認為的一個觀點是，任何看起來明顯具有複利效應的業務，奇怪地以遠低於預期的速度和規模發展。

宗教分裂的早期跡象通常遵循可預測的模式，這些模式可以作為框架，繼續追蹤《苦澀的宗教》的演變。

它通常始於出現相互競爭的解釋，無論是出於資本主義的還是意識形態的原因。在早期的基督教中，關於基督的神性和三位一體的本質的不同觀點導致了分裂，產生了截然不同的聖經解釋。除了我們已經提到的 AI 的分裂，還有其他正在出現的裂痕。例如，我們看到一部分 AI 研究人員拒絕了變換器的核心正統觀念，而轉向了其他架構，如狀態空間模型（State Space Models）、Mamba、RWKV、液體模型（Liquid Models）等。雖然這些現在還只是軟訊號，但它們顯示出異端思想的萌芽以及從基礎原則重新思考這一領域的意願。

隨著時間的推移，先知不耐煩的言論也會導致人們的不信任。當宗教領袖的預言沒有實現，或者神的干預沒有如約而至時，它就會種下懷疑的種子。

米勒派運動曾預言基督將在 1844 年迴歸，但當耶穌沒有按計劃到來時，該運動就土崩瓦解了。在科技界，我們通常會默默埋葬失敗的預言，並允許我們的先知繼續描繪樂觀的、長週期的未來版本，儘管預定的截止日期一再錯過（嗨，Elon）。然而，如果沒有通過持續改進的原始模型效能來支撐，擴展套件定律的信仰也可能面臨類似的崩潰。

一個腐敗、臃腫或不穩定的宗教容易受到叛教者的影響。新教改革運動之所以能取得進展，不僅僅是因為路德的神學觀點，更因為它出現在天主教會衰落和動盪的時期。當主流機構出現裂痕時，長期存在的「異端」思想就會突然找到肥沃的土壤。

在人工智慧領域，我們可能會關注規模較小的模型或替代方法，它們以更少的計算或資料實現類似的結果，例如來自各種中國企業實驗室和開源團隊（如 Nous Research）所做的工作。那些突破生物智慧極限、克服長期被認為無法逾越的障礙的人，也可能會建立一個新的敘事。

觀察轉變開始的最直接、最具時效性的方式是追蹤從業者的動向。在任何正式的分裂之前，宗教學者和神職人員通常會在私下裡保持異端觀點，而在公眾面前卻表現得順從。當今的對應現象可能是一些 AI 研究人員，他們表面上遵循擴展套件定律，但暗地裡卻在追求截然不同的方法，等待適當時機挑戰共識，或離開他們的實驗室，去尋找理論上更廣闊的天地。

關於宗教和技術正統的棘手之處在於，它們往往有一部分是正確的，只是並不像最忠實的信徒所認為的那樣普遍正確。就像宗教將人類的基本真理融入它們的形而上學框架中一樣，擴展套件定律清楚地描述了神經網路學習的真實情況。問題在於，這種現實是否像當前的熱情所暗示的那樣完全且不變，以及這些宗教機構（人工智慧實驗室）是否足夠靈活、足夠有策略性，能夠帶領狂熱分子一起前行。同時，建立出能夠讓知識傳播的印刷機（聊天介面和 API），讓他們的知識得以傳播。

終局

「宗教在普通民眾眼中是真實的，在智者眼中是虛假的，在統治者眼中是有用的。」—— 盧修斯・安納烏斯・塞內加

對宗教機構的一種可能過時的觀點是，一旦它們達到一定規模，它們就會像許多人類經營的組織一樣，容易屈服於生存的動機，試圖在競爭中存活下來。在此過程中，它們忽視了真理和偉大的動機（這兩者並非互相排斥）。

我曾撰寫過一篇文章關於資本市場如何成為敘事驅動的資訊繭房，而激勵機制往往會使這些敘事得以延續。擴展套件定律的共識給人一種不祥的相似感 —— 一種根深蒂固的信仰體系，它在數學上優雅且在協調大規模資本部署上極其有用。就像許多宗教框架一樣，它可能作為一種協調機制比作為一種基本真理更有價值。

📍相關報導📍

2024 加密敘事排行榜：迷因幣稱王，AI、RWA、Solana生態崛起

V神對AI發展感到恐懼：人類應打造便利工具，而非創造智慧生命

OpenAI推出o3模型！推理能力再推高等級，為下一代AI鋪路