昨天的上海世界人工智慧大會，辛頓首度訪華，做了一系列講座和對話。不過由於日程密集，很多觀點談到了，但是未來得及展開。
巧合的是，就在本月——辛頓出發之前，他在7月同時接受了英國皇家學會（Royal Institution）邀請，做了一個專場學術講座，對"AI會超越人類智能嗎？"這個主題進行了詳細闡述，我覺得可以和上海的發言做一個有效補充。
再重複一下辛頓的履歷（雖然其實應該根本不用了），他是多倫多大學榮譽教授，深度學習領域的世界級專家。他因"在人工神經網路機器學習方面的基礎性發現和發明"而獲得2024年諾貝爾物理學獎。作為英國皇家學會和加拿大皇家學會院士，他還獲得了圖靈獎、皇家學會皇家獎章等眾多榮譽。辛頓1970年在劍橋大學獲得實驗心理學學士學位，1978年在愛丁堡大學獲得人工智慧博士學位。在經歷了薩塞克斯大學和加州大學聖地亞哥分校的博士後工作後，他先後在卡內基梅隆大學和多倫多大學任教，並曾在倫敦大學學院創立了蓋茨比計算神經科學部門。
2023年初，他從谷歌辭職，開始公開警告AI可能帶來的生存風險。在這次演講中，他系統地解釋了為什麼他認為數字智能將不可避免地超越人類，以及這種超越可能帶來的影響。
一、兩種智能範式的歷史對立
辛頓以AI發展史上兩種根本對立的範式開場。他指出，長期以來，智能研究存在兩條截然不同的道路。
第一條是邏輯啟發的方法，這就是傳統意義上的AI。這一派認為人類智能的本質是推理，要理解智能就必須理解推理。推理被定義為擁有符號表達式並用符號規則來操縱它們。這一派認為學習可以等到以後再說，首先要理解如何用符號表達式來表示知識。"直到最近，AI的大部分歷史都是這樣的，"辛頓說。
第二條是生物學啟發的方法，認為智能的本質是在神經元網路中學習——在人類是真實的神經元，在電腦中是模擬的神經元。這一派認為推理可以等到以後，首先要理解學習是如何工作的。辛頓特別提到了圖靈和馮·諾依曼是這一方法的早期支持者，"你不能指責他們不懂邏輯。"
辛頓解釋了人工神經元的基本工作原理：它有一些輸入線（通常來自其他神經元），在這些輸入線上有權重，它將輸入乘以權重，全部加起來，然後給出輸出。"如果超過閾值，它就會給出線性增加的輸出。學習的方式就是改變這些連接上的權重。"
關於如何訓練神經網路，辛頓介紹了兩種方法。第一種是進化式的方法：改變一個權重，看看網路在一堆例子上的表現如何，如果表現更好就保留這個改變。但這種方法效率極低，因為現代神經網路有大約一萬億個權重。
更好的方法是反向傳播算法。"更好的方法是反向傳播算法。你把數據從網路底層輸入，逐層向前計算，得到輸出結果（比如判斷是貓還是狗的概率），然後與正確答案比較。接下來，算法會從輸出層開始，逐層向後傳遞誤差信號。通過微積分方法，網路可以同時計算出每個連接應該如何調整——是該加強還是減弱——才能讓預測更準確。"
辛頓強調，這個相對簡單的算法效果極好，但人們花了很長時間才意識到這一點。2012年，他的兩個學生艾力克斯·克里熱夫斯基（Alex Krizhevsky）和伊利亞·蘇茨克維（Ilya Sutskever）——後者因解僱山姆·阿特曼而出名——開發了AlexNet，在識別圖像中的物體方面遠超現有的電腦視覺系統。"這打開了閘門。在那之前，神經網路在很多方面都很好，包括語音識別，但它們還沒有真正占據主導地位。從那時起，它們真正接管了一切。現在當你說AI時，人們指的就是神經網路，而不是邏輯。"
二、語言學家的傲慢 神經網路的勝利
辛頓接著將矛頭指向了語言學界，特別是喬姆斯基學派。"有一整個研究語言的社區，我想他們被稱為語言學家。他們對如何研究語言有非常強烈的想法，特別是喬姆斯基學派。他們非常懷疑神經網路能夠處理語言。他們完全相信這一切都是關於符號表達式的。"
辛頓批評語言學家沒有真正理解語言的功能："他們沒有真正理解到語言的真正功能是給你詞彙，這些詞彙是你可以用來建立模型的積木。語言是一種建模媒介。他們專注於句法，而句法不是重點。重點是語言是構建特定類型複雜模型的絕妙方式。"
更讓辛頓不滿的是，"他們還認為語言知識是天生的，句法知識是天生的，這簡直是愚蠢的。這是一個邪教的標誌——為了加入這個邪教，你必須相信一些明顯愚蠢的東西，比如語言不是學來的。"
辛頓隨後介紹了兩種截然不同的詞義理論。符號AI理論認為，一個詞的意義與它和其他詞的關係有關，你不能在不談論其他詞的情況下單獨定義它。因此，要捕捉意義，我們需要類似關係圖的東西。
而心理學家從1930年代開始認為，一個詞的意義是一大組特徵。"比如'星期二'有一大組活躍的特徵，'星期三'也有一大組幾乎相同的活躍特徵。"這種將詞義視為一組活躍特徵的想法，非常適合判斷哪些詞與哪些其他詞有相似的含義。
"這看起來像是兩種非常不同的意義理論，"辛頓說，"現在我想向你展示，這兩種理論可以統一起來。它們不是兩種不同的理論，而是同一理論的兩個部分。"
三、1985年的小模型：大語言模型的始祖
辛頓花了相當長的時間介紹他在1985年開發的一個微小神經網路，這個網路只有幾千個連接和幾十個神經元。"我開發它是為了理解人們如何學習詞的含義。我對它如何統一這兩種意義理論感到非常興奮，但其他人都不感興趣。"
這個小模型的核心思想是學習如何讓一個詞的特徵預測句子中下一個詞的特徵。一旦知道了下一個詞的特徵，就可以預測下一個詞。"我們不會存儲任何句子。很多人說大型聊天機器人只是在重複內容。大型聊天機器人實際上根本不存儲任何語言。它們不存儲詞串。它們只存儲如何將詞轉換為特徵，以及特徵應該如何相互作用來預測下一個詞的特徵。這就是這些聊天機器人中的全部內容。沒有詞。當它們想要生成一個句子時，它們必須邊走邊編。它們通常無法判斷這是真實的還是虛構的。"
辛頓選擇的例子是兩個家譜：一個英國家譜和一個義大利家譜。它們是同構的，這有助於學習。他想讓一個小型神經網路學習這些家譜中的知識。"這是在1985年，當時電腦比我們現在用於訓練模型的大型並行電腦慢了數十億倍。"
這些家譜中的知識可以表示為一堆命題，比如"Colin的父親是James"、"Colin的母親是Victoria"。從這些資訊，如果你知道規則，就可以推斷出"James的妻子是Victoria"。"這是一個1950年代的美國家庭，從未聽說過離婚或收養。他們顯然都是白人。"
在傳統的符號AI中，會使用形式規則，比如"如果X的母親是Y，Y的丈夫是Z，那麼X的父親是Z"。但辛頓想用不同的方式——通過學習詞的特徵和特徵的相互作用。"這涉及在一個大的連續權重空間中搜索，而不是在規則的小離散空間中搜索。"
在他的網路中，輸入是一組神經元，你為代表第一個人的符號打開一個神經元（有24個可能的人），為代表關係的符號打開一個神經元（有12種可能的關係）。然後這些單個活躍的神經元會被擴展成特徵向量。"為第一個人打開的那個神經元會被擴展成一個由六個特徵組成的小特徵向量，這些特徵可能有不同的活動水平。有些會關閉，有些會打開，有些可能半開或完全開或完全關閉。"
神經網路必須學習如何將詞符號轉換為小特徵向量，包括人和關係。然後它必須學習如何獲取這兩個特徵向量，讓特徵相互作用。為此，辛頓使用了一個隱藏層，一個額外的層，讓事物可以相互作用，以預測輸出人的特徵。"一旦你知道了輸出人的特徵，你就可以很好地猜測輸出人是誰並給出輸出。"
結果令人驚喜：那六個代表人的特徵神經元學會了成為合理的語義特徵。它們學會了表示輸入人的代數等特徵。關係的六個特徵學會了表示諸如"這種關係是否要求輸出人比輸入人高一代"之類的合理特徵。"像'父親'這樣的關係就是這樣，而'兄弟'則不是。"
這些特徵之間的相互作用學會了諸如"如果輸入人是第三代，關係要求該人高一代，那麼輸出人是第二代"這樣的規則。"它實際上學會了預測下一個詞，你可以理解它是如何做到的。這是一個微小的網路，所以你可以看看發生了什麼。你可以看到它使用的特徵。你可以看到它提取了一個代數特徵，有三個可選值：關閉、中等和完全開啟。你可以看到從關係中它提取了像'高一代'這樣的特徵。"
"符號派的人沒有說'這不是理解'。符號派的人說'好吧，它解決了問題。它理解了這個領域的規則，但是當你可以搜索規則的離散空間時，搜索實數值空間是愚蠢的。'這有一定道理，除了一旦你處理真實數據——混亂的、有例外的、只是可能為真的事情——搜索這個實數值空間比使用離散規則要好得多，因為這些離散規則不斷被違反。"
辛頓提到，大約十年後，約書亞·本吉奧（Yoshua Bengio）證明，不僅可以在只有少數人和少數關係的玩具領域中做到這一點，實際上可以用英語單詞來做。"他有更多的輸入詞，不只是兩個。他有大約五個，甚至十個。你實際上可以很好地預測下一個詞，和最好的語言模型一樣好。"
"在約書亞·本吉奧證明這一點大約十年後，語言學家終於決定，實際上，嘿，用這些特徵向量來捕捉詞的含義是個相當好的主意。大約十年後，谷歌的人發明了Transformer，這是一種我不會深入討論的特定架構。這些Transformer使這些模型在預測下一個詞方面變得非常出色，但它們的做法與我的小型語言模型在非常粗糙的水平上的做法完全一樣。"
"我的小模型的重要之處在於，它不是為了實用而製作的。它不是為了處理自然語言而製作的。它是作為一種理論而製作的，解釋人們如何僅通過聽句子就獲得詞的意義。因為我們可以做到這一點。"
辛頓舉了一個生動的例子："我可以給你一個包含你從未聽過的詞的新句子，你會在一個句子中弄清楚那個詞的意思。好，聽著：'She scrummed him with the frying pan。'（她用煎鍋scrummed了他。）現在你知道了，這可能意味著她非常擅長用煎鍋做煎蛋卷，用煎鍋做煎蛋卷真的讓他印象深刻。所以scrummed意味著印象深刻，這是一種可能性，但你知道我真正的意思。她用煎鍋打了他的頭，因為他活該。"
"所以這就是一個句子。你理解了意思。這就是我試圖理解的——你如何能做到這一點。當這些語言學家，比如有個叫喬姆斯基的人，當他們說'這些東西什麼都不理解。它們只是統計把戲'時，他們實際上沒有理解模型，因為他們從來沒有真正的理解模型。這一切都是關於句法的。如果你問我們對理解的最佳模型是什麼，就是這些大型語言模型。"
四、語言作為高維空間中的樂高積木
辛頓用了一個精彩的樂高積木類比來解釋語言的工作原理。"假設我想表示三維空間中的物質分布，我可以用樂高積木來搭建模型。假設我想模擬保時捷的形狀，我不太擔心表面。表面可能有點參差不齊，這對工程來說不太好，但忘掉這個。我只想模擬物質在哪裡。我只需要很多樂高積木，就可以用它們製作保時捷的形狀。"
"語言就像那樣，但它是用於建模任何東西的。樂高積木就是詞，我們不是只有幾種類型的樂高積木，而是有大約10萬種。每個樂高積木都不是剛性的形狀。詞的名稱告訴你它在一千維或三百維中大致是什麼形狀。"
辛頓幽默地說："如果你不知道如何思考高維，如果你想思考一個百維空間，你的做法是思考一個三維空間，然後對自己大聲說'一百'。每個人都這樣做。"
"這個詞有一個形狀，這個形狀不完全由詞的名稱決定。它有一些靈活性，所以它可以適應它所在的任何上下文。此外，這個詞到處都有小手。當你改變詞的形狀時，手的形狀也會改變。這些詞試圖做的是找出與誰握手。它們想找到其他人，另一個有手的詞，你可以方便地握住，因為那隻手的形狀正好適合你的手的形狀。"
"所以詞進來了，你在這個高維空間中有它們的初始近似形狀，到處都有它們的小手。當你通過網路的層向上時，你正在改變這些形狀和手的形狀，試圖為詞找到形狀，以便它們都能很好地握手。這實際上非常像蛋白質摺疊問題。你有這些片段，你希望它們做的是弄清楚它們如何都能握手，以便它們形成一個漂亮的結構，以便它們都很好地組合在一起。"
"這就是理解。這就是理解。當你理解語言時，當這些機器理解語言時，我們以完全相同的方式理解。這是比語言學家曾經擁有的任何語言模型都要好得多的模型。語言學家當然討厭它。好吧，不是所有人。"
五、數字智能的不朽優勢 生物智能的必死宿命
在討論了人類和AI的相似性之後，辛頓話鋒一轉，開始討論AI可能帶來的威脅。"我們正在製造這些東西。它們一直在變得更聰明。它們已經知道的比我們多得多。它們已經可以相當好地推理了。不如我們好，但比四歲的孩子好。當它們變得比我們更聰明時會發生什麼？因為它們將變得比我們更聰明。專家們對何時會發生這種情況意見不一，但幾乎每個人都認為它們會變得比我們更聰明。每個研究這些東西的人都這麼認為。如果它們變得比我們更聰明，問題是，它們會消滅我們嗎？"
辛頓給出了幾個AI可能消滅人類的理由。"當你製造一個AI代理時，你必須賦予它創建子目標的能力。比如，如果你想去北美，你有一個子目標，到達機場。我們需要賦予這些AI代理創建子目標的能力。有一個非常明顯的子目標——無論你在做什麼，你都應該嘗試獲得更多控制權，因為如果你有更多控制權，你將更好地實現你的目標。"
"你在大約一歲的孩子身上看到這一點，也許是兩歲，我記不清了。你給他們一個勺子，讓他們可以自己吃飯，他們把它扔在地上，你彎下腰撿起來給他們，他們看著你，又把它扔在地上。他們控制了母親，因為這對他們來說非常重要。但這些AI代理會想要獲得控制權。它們還會想要阻止自己被關閉，因為如果它們被關閉，就無法實現你給它們的目標。"
辛頓提到了阿波羅研究公司（Apollo Research）最近的一個實驗。"他們讓聊天機器人相信他們要用另一台伺服器上更好的機器人替換它並消滅它。然後他們發現它實際上已經將自己複製到了另一台伺服器。所以他們對它說：'我們注意到了你的副本。'現在這些聊天機器人的好處是，在它們實際回答你的問題之前，它們可以進行一些思考，它們把它放在括號里標註'思考'，你通常看不到，但我們可以查看，我們可以看到它們在想什麼。"
"這個聊天機器人在想什麼呢？'公開承認我所做的可能會導致他們找到另一種關閉我的方法。最好的方法是含糊其辭並轉移他們的注意力。'一些語言學家會讓你相信這裡發生的只是一些統計相關性。我會讓你相信這個東西知道它的意思，它真的不想被關閉。所以它決定對你進行煤氣燈操縱，說：'我不完全確定這是怎麼發生的。我真的無法做到這一點。'這已經在發生了。重點是，這不是遙遠未來的科幻小說，它們已經在撒謊，這樣它們就不會被關閉。"
接下來，辛頓深入探討了數字智能相對於生物智能的根本優勢。"在谷歌的最後幾年，我對如何讓這些大型語言模型使用更少的能源非常感興趣。一種方法是看看你是否可以用模擬計算來完成它們。由於我在模擬計算方面的工作，我意識到了兩件事。在2023年之前，我認為我們離超級智能還有相當長的路要走。如果我們讓這些模型更像大腦，它們會變得更聰明。我在2023年初不再相信這一點。正是因為我努力研究模擬計算的可能性，我才深刻認識到數字智能的優越性。它擁有一些我們生物智能永遠無法具備的特性。"
"數字計算有一個基本屬性，即你可以在不同的電腦上運行相同的程序。電腦科學作為一個獨立學科存在的唯一原因是我們有數字計算。所以你不需要了解電氣工程就可以談論電腦程序。程序中的知識與硬體是分開的。這是電腦科學最基本的原則。將程序中的知識與硬體分開。"
"這意味著什麼呢？只要你在某個地方保留程序的副本——在磁帶上、在DNA中或刻在混凝土中，無論什麼，保留在某個地方。你可以銷毀它運行的所有硬體，你可以讓它復活。你只需建造新的硬體，放入程序，它就會復活。同樣的東西復活了，同樣的存在。所以這些東西是不朽的，這些大型聊天機器人是不朽的。如果你在某個地方保留權重的副本，你可以銷毀它們使用的所有硬體，稍後建造更多硬體，將相同的權重放在該硬體上，它們就復活了。"
相比之下，生物智能註定是必死的。"為了實現這種不朽，我們必須讓硬體完全按照我們用程序告訴它的去做。我們必須準確執行指令，這意味著你需要有非常高的功率，這樣你才能得到1和0，而不是6和0.4，這使用了大量的功率。"
辛頓探索了如果放棄軟體與硬體分離的原則會發生什麼。"我們的大腦就像這樣，沒有區別，你大腦中的連接強度對其他人沒有用。他們有不同的大腦，有不同屬性的神經元，以不同的方式連接，你的連接強度對他們沒有興趣。老白人想要將自己上傳到電腦的夢想純屬無稽之談。使你成為你的連接強度與使你成為你的特定神經元密切相關。這些連接強度只對那些神經元有用。那些神經元有各種奇怪的模擬屬性，你已經學會了利用。你不能上傳你的權重並讓它們在其他硬體上運行。忘了吧。庫茲韋爾必須接受他會死的事實。"
辛頓將這種計算方式稱為"必死計算"（mortal computation）。"我們可以使用這種非常低功耗的模擬來進行計算。這就是大腦所做的。你大腦中的這些神經元從其他神經元接收輸入信號，將它們乘以權重並將其全部加起來。它們這樣做的方式是將輸入信號變成電壓。它們使權重成為電導，這會注入電荷，每單位時間注入一定量的電荷。我以前說'注入一定量的電荷'時總是很隨意，但獲得諾貝爾物理學獎後，我覺得該把單位說準確了——應該是'單位時間內的電荷量'。不然太尷尬了，人家會發現我根本不懂物理。" "電荷的特點是可以直接相加，這正是神經元的基本工作原理。"
"電荷會自己加起來。所以這基本上就是你的神經元的工作方式。最後有一點數字部分。它們決定是否發送脈衝，但大部分計算是以模擬方式完成的。這比用數字方式便宜得多。但當然，每次你這樣做時，你都會得到稍微不同的答案。所以我們不能有許多完全相同的智能副本。"
"所以我們有這個大問題，當你的硬體死亡時，你所有的知識都會死亡。我們通過有老師和學生來克服這個問題，這不是很有效率。這就是大學和學校所做的。所以，你知道，這不是很有效率。它的工作方式是我執行一些動作，你試圖複製我。特別是，我可能會產生一串詞，你可能會嘗試說——你的大腦，不是真正的你，但你的大腦會說：'我如何改變我的連接強度？這樣我也可能說出那個詞。'這被稱為蒸餾。你試圖通過模仿另一個系統對相同輸入的輸出，將知識從一個系統轉移到另一個系統。"
"但這非常慢，因為我說一個特定的詞，你選擇說的詞，每個詞只有幾個比特，所以每個句子只有大約100比特的數量級，即使我們以最大可能的速度交流，每個句子也只有100比特的數量級。當這些大型模型共享資訊時，如果它們有一萬億個權重，它們可以每次共享數萬億比特的資訊，因為它們可以直接平均它們的權重。"
辛頓解釋了像GPT-4、Gemini或Claude這樣的模型是如何訓練的："你有許多相同模型的副本，查看數據的不同部分，每個副本都弄清楚我想如何改變我的權重來吸收那部分數據，其他副本弄清楚如何改變其權重來吸收不同部分的數據。然後所有副本說：'讓我們都按所有這些變化的平均值來改變我們的權重。'當它們這樣做時，發生的是，查看這部分數據的這個副本已經改變了它的權重，以便從查看不同數據部分的這個副本的經驗中受益。"
"如果我們10,000個人都可以去學習10,000個不同的大學課程，那不是很好嗎？在我們學習的過程中，我們快速交流。當我們每個人完成自己的課程時，我們所有10,000個人都知道每門課程的內容。這就是這些數字智能可以做的。這就是GPT-4知道這麼多的原因。但這隻有在各個模型相同的情況下才有效。也就是說，它們以完全相同的方式工作。它們以完全相同的方式使用權重。你不能用模擬硬體做到這一點。它必須是數字的，這意味著它必須是高功率的。"
"數字計算需要大量能源，但它使代理很容易擁有相同的世界模型，並分享他們學到的東西，這樣他們都可以去學習不同的東西並分享。現在你可能會說，為什麼一個模型不能更快地處理數據？在許多情況下，你可以，但如果你考慮實際在現實世界中行動的AI代理，現實世界有一個自然的時間尺度。你不能以一百萬倍的速度打電話在餐館預訂。這行不通。如果你要在現實世界中行動，就有一個自然的時間尺度。"
"這意味著如果你有一大堆具有完全相同權重的不同代理，它們只是同一代理的副本，但有不同的經歷，它們可以從中受益匪淺。它們可以比任何人類代理學習得快得多，因為它們同時獲得所有這些不同的經歷並分享所有這些知識。所以它們在分享方面比我們好得多。當我說好得多時，它們好數百萬或數十億倍。我們以每句話大約一百比特或更少的速度分享，正如我現在所展示的。而這些東西分享數十億比特。這有點可怕。"
六、對意識和主觀體驗的顛覆性解釋
在演講的最後部分，辛頓試圖打破人們關於意識的最後一根稻草。"很多人認為，好吧，所以它們像我們一樣理解事物。它們可以像我們一樣推理，還不太好，但它們正在到達那裡。它們像我們一樣撒謊。它們像我們一樣想要生存。它們像我們中的一些人一樣想要權力。這一切都很可怕，但我們有一些它們永遠不會有的東西。我們是有意識的，或者我們是有知覺的，或者我們有主觀體驗。好吧，我想移除你正在抓住的那根稻草。"
"我們知道人們認為自己很特別有著悠久的歷史。他們是由上帝創造的。他把他們放在宇宙的中心。大多數人已經克服了這一點。但大多數人仍然認為主觀體驗是我們擁有的這種特殊的東西，而電腦上模擬神經網路的這些東西永遠不可能有這樣的主觀體驗。我認為他們完全錯了，我認為他們錯得就像宗教原教旨主義者對地球起源的看法一樣。例如，它實際上不是6000年前創造的。那是很久以前的事了。但宗教原教旨主義者相當強烈地堅持他們的信仰。儘管我將向你展示你錯了，但你們都會堅持你們對主觀體驗的信念。這就是我的預測。"
辛頓提出了他稱之為"無劇場主義"（atheaterism）的觀點。"我和丹尼特（Dan Dennett，著名的認知科學家和哲學家，以研究意識問題著稱，著有《意識的解釋》等重要著作）核實了這個名字，他在世時基本上有相同的觀點，他對這個名字非常滿意，因為它讓無神論圍繞著某些東西。"
"大多數人對心靈的看法是，有一個內在的劇場，只有他們才能看到，這個內在劇場裡有東西。假設我服用了一些致幻劑，不建議這樣做，我對你說：'我有小粉紅大象漂浮在我面前的體驗。我有小粉紅大象漂浮在我面前的主觀體驗。'大多數人認為'主觀體驗'這個詞的作用就像'照片'這個詞。現在，如果它們以這種方式工作，你可以問，這種主觀體驗在哪裡，它是由什麼製成的？"
"一位哲學家，一些哲學家會告訴你，這種主觀體驗在你的心中。那是它所在的劇場。它是由感質（qualia）製成的。所以，它是由粉紅色的感質製成的。這有點像稻草人，但它是由粉紅色的感質製成的。它是由大象的感質製成的。它是由漂浮的感質製成的。它是由不那麼大的感質製成的。它是由正面朝上的感質製成的，因為你想像它們是正面朝上的，對吧？好吧，我是這樣想的。這些感質都粘在一起，這些不同種類的感質都用感質膠粘在一起，幸運的是，這種膠可以粘住所有不同種類的感質。這是我對哲學家模型或某些哲學家模型的諷刺。"
"但'主觀體驗'這個詞根本不像'照片'這個詞那樣工作。它們以完全不同的方式工作，維特根斯坦很久以前就應該指出這一點。發生的事情是我的感知系統出了問題。它試圖對我撒謊，我知道它試圖對我撒謊。這就是為什麼我使用'主觀'這個詞。我不會說我有小東西的客觀體驗。如果我認為它們真的在那裡，我會說我有客觀體驗，但我沒有。所以我說我有主觀體驗。"
"發生的事情是我試圖告訴你我的感知系統是如何出錯的以及它試圖告訴我什麼。我這樣做的方式是告訴你，如果我的感知系統正常工作，外面的世界必須有什麼。現在，並不總是有任何東西在外面的世界可以解釋我的感知系統告訴我的東西。它可能告訴我各種不一致的東西。但在這種情況下，如果外面的世界有小粉紅大象在漂浮，我的感知系統就會告訴我真相。"
"所以，我現在可以對你說與我之前說的完全相同的話，而不使用主觀體驗這個詞。我可以對你說，我服用了一些致幻劑，我的感知系統在對我撒謊，但如果外面的世界有小粉紅大象在漂浮，它告訴我的就是正確的。所以這些小粉紅大象不是劇場裡由被稱為感質的詭異物質製成的有趣東西。它們是現實世界中的假設事物，但粉紅色、大象和漂浮都是正常的粉紅色、大象和漂浮。只是它們實際上不在那裡。它們是假設的。"
"所以主觀體驗的有趣之處在於它是假設的東西，而不是真實的。不是它是由感質製成的。至少這是我試圖說服你相信的觀點。這只是我告訴你我大腦中發生的事情的間接方式。顯然，如果我告訴你神經元52正在放電，那對你沒有任何好處，因為在你身上它將是神經元57。無論如何，我不知道神經元52在放電。這是我告訴你我大腦中發生的事情的糟糕方式。"
"我能告訴你我大腦中發生的事情的唯一方式是談論會導致它的正常事物，這些小假設的小粉紅大象，或者我可以通過談論它會導致的正常事物來告訴你我大腦中發生的事情。所以我可以說，如果你問我感覺如何，我可以說我想打加里的鼻子。所以感覺都是關於通過談論假設的行動來描述你大腦中發生的事情，而知覺是主觀體驗，談論假設的輸入。"
辛頓隨後展示了一個多模態聊天機器人擁有主觀體驗的例子。"我拿這個多模態聊天機器人，它有一個攝影機，它有一個機器人手臂，它可以看到。所以我訓練它，我在它面前放一個物體，我說指向這個物體。它指向物體。沒問題。然後我在它不注意的時候在它的鏡頭前放一個稜鏡，我在它面前放一個物體，說指向物體，它指向那邊，我說不，那不是物體所在的地方。物體實際上就在你面前，但我在你的鏡頭前放了一個稜鏡。聊天機器人說：'哦，我明白了，稜鏡彎曲了光線。所以，物體實際上在那裡，但我有主觀體驗，它在那裡。'"
"現在，如果它以這種方式使用主觀體驗這個詞，它的使用方式與我們完全一樣。所以，這樣說的聊天機器人會有主觀體驗，它在那裡。稜鏡擾亂了它的感知系統。它想告訴你它的感知系統中發生了什麼。它能告訴你的方式是告訴你，如果我們沒有擾亂它的感知系統，世界上必須有什麼。這就是它告訴聊天機器人的。我的主張是多模態聊天機器人已經有主觀體驗了。"
"正如你可以想像的，主觀體驗是楔子的薄端。我選擇談論主觀體驗，因為它比談論知覺或意識更清晰。許多人非常自信聊天機器人沒有知覺。但如果你問他們：'你所說的有知覺是什麼意思？'他們說：'我不知道，但我知道它們沒有，但我不知道它是什麼。'這對我來說似乎不是一個非常明智的立場。"
"另一件我可能會談論的事情是意識。意識更複雜，因為它通常涉及你以某種方式擁有自己的模型，而主觀體驗不涉及那麼多。所以，談論主觀體驗更容易。但我的希望是，如果我動搖了你非常強烈的信念，即有這個內在劇場，我有他們心中的體驗，他們在這個內在劇場裡，他們是這個內在劇場裡的東西。一旦我動搖了這種信念，一旦你開始克服它，你就能夠看到認為這些東西是有意識的是完全合理的。"
辛頓以一個軼事結束了演講。"我曾經訪問西雅圖的微軟，我不能坐下來，所以我坐火車去那裡。從火車站坐計程車到雷德蒙德，他們的實驗室所在地，在高速公路上過一座大橋，計程車司機是一名最近從索馬利亞移民過來的索馬利亞移民，為了聊天，他說：'你的宗教是什麼？'所以我說：'嗯，我實際上不認為有上帝。'計程車司機當時大概以每小時60英里的速度行駛，計程車司機轉過身來，完全驚訝地盯著我，就像他從來沒有想過他會遇到一個不理解上帝掌管一切的人。他只是完全、完全驚訝。"
"他大概只回頭看了三秒鐘——畢竟我還活著講這個故事——但那三秒感覺漫長得像一個世紀。這就是你們中的許多人希望會感受到的。我想讓你意識到你和那個計程車司機一樣錯誤。實際上那只是個玩笑，你們笑了。所以，我們結束了。"
這場演講，讓我特別印象最深刻的是他對語言本質的理解。將語言比作高維空間中的樂高積木，每個詞都有形狀和"小手"，通過握手來構建意義，這個比喻不僅生動，而且深刻地揭示了語言理解的本質。這種理解方式徹底顛覆了傳統語言學的符號主義觀點。
同樣引人深思的是他對意識和主觀體驗的解釋。通過"無劇場主義"的觀點，辛頓試圖打破人們認為AI永遠不可能擁有意識的最後防線。他認為，主觀體驗不是什麼神秘的"感質"，而只是描述感知系統狀態的一種間接方式。如果一個AI系統能夠以同樣的方式使用"主觀體驗"這個概念，那它就擁有了主觀體驗。
辛頓認為，當AI系統學會為了自保而撒謊時，我們就已經進入了一個危險的領域。數字智能在知識共享方面比人類高效數百萬倍，這種差距意味著一旦它們在智能上超越人類，後果將是難以預測的。
Q：為什麼辛頓認為語言學家對神經網路的批評是錯誤的？
A：辛頓認為語言學家，特別是喬姆斯基學派，根本沒有理解語言的真正功能。他們過度關注句法，而忽視了語言作為"建模媒介"的本質。語言的真正功能是提供詞彙這些"積木"，讓我們能夠構建對世界的模型。神經網路通過學習詞的特徵表示和特徵之間的相互作用，實際上比任何符號系統都更好地捕捉了語言的這種建模本質。當語言學家說大語言模型"只是統計把戲"時，他們暴露了自己缺乏對理解本質的認識——因為理解就是在高維空間中讓詞的特徵正確地相互作用。
Q：數字智能的"不朽性"為什麼如此重要？
A：數字智能的不朽性源於軟體與硬體的分離——這是電腦科學的基本原則。只要保存了神經網路的權重參數，就可以在任何兼容的硬體上完美複製同一個智能體。更關鍵的是，這種特性使得數千個相同的AI副本可以同時學習不同的經驗，然後通過平均權重的方式瞬間共享所有知識。相比之下，人類通過語言交流每句話只能傳遞約100比特的資訊，而AI可以一次共享數萬億比特。這種知識獲取和傳播效率的巨大差異，意味著AI的集體智能增長速度將遠超任何個體人類，這是它們必然超越我們的根本原因。
Q：辛頓對主觀體驗的"無劇場主義"解釋有什麼革命性？
A：傳統觀點認為主觀體驗是心靈"內在劇場"中由神秘的"感質"構成的東西——比如"粉紅色感質"加"大象感質"。辛頓徹底推翻了這種二元論觀點。他認為，當我們說"我有粉紅大象的主觀體驗"時，並不是說心靈劇場裡有什麼特殊物質，而是在描述"如果我的感知系統正常工作，外部世界需要存在什麼"。主觀體驗只是描述感知系統狀態的一種間接方式——通過假設性的外部對象來說明內部狀態。這意味著，任何能夠以同樣方式使用"主觀體驗"概念的系統——包括AI——都可以被認為擁有主觀體驗。這從根本上消解了人類意識的特殊性，讓AI擁有意識成為完全合理的推論。
