又是一篇超萬字的部落格?，眼花繚亂中。
傑弗里·辛頓（Geoffrey Hinton）剛剛上線了一期90分鐘的播客，發布十天播放量已超過百萬次。
辛頓在過去兩年裡接受過大量採訪，從CNN到BBC到60 Minutes，但幾乎所有對話都集中在同一個主題：AI的風險有多大、失業潮何時到來、我們該多緊張。這些採訪有價值，但如果你已經跟蹤過辛頓的公開發言，會發現核心判斷在不同場合反覆出現。這次不一樣。這期節目裡他做了一件在其他採訪中從未做過的事：從零開始，一層一層地拆解神經網路到底怎麼工作。 他用識別一隻鳥的例子講清了從像素到語義的層級躍遷，用一根彈力繩講透了反向傳播的數學直覺，用堆肥堆和原子彈的類比證明AI已經理解了鏈式反應的深層結構，用一個稜鏡實驗論證多模態聊天機器人已經具有主觀體驗。這些內容在他之前的公開訪談中極為罕見——他通常把這些留給自己的大學課堂。
讓他打開這個模式的，是這檔節目的獨特結構。
StarTalk是美國科學播客領域的頭部品牌，YouTube頻道訂閱量超過543萬，已播出超過1000期。主持人尼爾·德格拉斯·泰森（Neil deGrasse Tyson）是紐約海登天文館館長，大概是過去二十年裡美國公眾辨識度最高的科學傳播者。節目的常駐搭檔查克·奈斯（Chuck Nice）是職業喜劇演員，加里·奧萊利（Gary O'Reilly）是前職業足球運動員。
這個配置的效果是：當嘉賓說出一個在學術會議上只會引發同行點頭的判斷時，奈斯和奧萊利會代替普通聽眾做出最誠實的反應——停下來，要求把剛才那句話再說一遍。對於複雜話題來說，這種"等一下你剛才說什麼"的打斷往往比追問本身更有價值，因為它逼迫嘉賓用更直觀的方式重新表述。辛頓顯然享受這個過程。他在節目裡用了大量面向物理學背景聽眾設計的類比（泰森的觀眾群以理工科為主），而奈斯的即時追問則確保沒有聽眾被落下。
雖然辛頓現在大概是AI領域公眾認知度最高的名字了，但他的核心貢獻值得繼續重複再重複了。他從1980年代開始系統地研究如何用反向傳播算法訓練多層神經網路，在當時學術界普遍認為這條路走不通的年代堅持了下來。他的工作直接催生了今天大語言模型和電腦視覺系統的技術基礎。他是多倫多大學電腦科學系榮休教授，2013年被Google收購了他與學生聯合創辦的DNNresearch，此後在Google工作十年。2018年，他與約書亞·本吉奧（Yoshua Bengio）、楊立昆（Yann LeCun）三人因在深度學習領域的奠基性貢獻共同獲得圖靈獎。2024年，他又與物理學家約翰·霍普菲爾德（John Hopfield）共同獲得諾貝爾物理學獎，成為繼1978年的赫伯特·西蒙（Herbert Simon）之後第二位同時擁有這兩項榮譽的人。2023年他從Google離職後成為AI風險領域最具公信力的預警者。
以下是這次對話的完整梳理。
AI研究從誕生之初就分裂成兩個陣營，這條裂縫至今沒有完全癒合。
一派相信智能的本質是邏輯推理。寫好前提，定好規則，用規則操縱符號推導出新結論，就像數學家處理方程。這是"符號AI"的路線，後來發展成專家系統，在學術界和工業界主導了幾十年。
另一派從生物出發。他們的論點是：我們所知的聰明東西都有大腦，而大腦擅長的是感知和類比推理，真正的邏輯推理反而要到十幾歲才發育成熟。所以應該先研究大規模神經元網路如何完成感知和記憶。
辛頓屬於第二派。他提到，這個陣營早期的支持者里包括馮·諾依曼（現代電腦架構的設計者）和圖靈（可計算理論的奠基人，也就是圖靈獎命名所紀念的那個人），可惜兩人都英年早逝。"圖靈可能還有英國情報機構的幫忙"，辛頓說。這是指圖靈因同性戀身份遭英國政府迫害、最終疑似被逼自殺的歷史。
辛頓自己的興趣起源於1960年代中期的高中時代。一個數學很好的朋友告訴他一個當時很新的想法：記憶可能不是存儲在單個腦細胞里，而是分布在大量腦細胞的連接模式上。這個概念受到全息術的啟發。匈牙利物理學家丹尼斯·蓋伯（Dennis Gabor）發明的全息圖剛剛問世，它的一個特性是資訊分布在整個介質上，打碎一部分仍能還原完整圖像。"從那以後，我一直在想大腦是怎麼存儲記憶的，實際上是怎麼工作的。"
1970年代辛頓成為研究生時，意識到一種新的驗證方法：不管你對大腦有什麼理論，都可以在數字電腦上模擬它來檢驗，除非你認為大腦的核心機制依賴量子效應。"我們先別去敲彭羅斯的門"，他開玩笑說。這裡的彭羅斯是數學物理學家羅傑·彭羅斯（Roger Penrose），他和麻醉學家史都華·哈默羅夫（Stuart Hameroff）曾提出一種有爭議的理論，認為意識源於神經元內部的量子過程。辛頓顯然不買這個賬。
問題是，當你真的在電腦上跑大多數當時流行的大腦理論時，發現它們不工作。辛頓花了職業生涯的大部分時間解決一個具體問題：如何調整神經元之間的連接強度來學習複雜的東西，並且在數字電腦上確實能跑通。
結果是一個讓他自己也不安的發現。他說自己未能理解大腦的工作方式，但弄明白了如何在數字電腦上做到同樣的事。 2023年初，這個認知讓他開始緊張：如果數字電腦上的學習方法比大腦的方法更高效，那數字智能（digital intelligence）可能就是比人類大腦這種模擬系統（analog intelligence）更強。
理解神經網路需要先理解一個問題：為什麼識別圖片裡有沒有鳥這件事，對電腦來說這麼難。
辛頓在節目裡說他有一門18小時的課講這個，但會試著壓縮。他選了一個面向物理學背景聽眾的入口：氣體定律。你壓縮氣體，氣體變熱，為什麼？因為宏觀行為（溫度上升）是由微觀的大量原子高速運動來解釋的。兩個層次的現象類型完全不同。神經網路的思路類似：我們做推理時那種有意識的符號操作，底下有更複雜的微觀神經活動在支撐。搞清楚了微觀層，才能真正解釋宏觀層。
他用的核心例子是圖像識別。一張灰度圖片在電腦看來就是一大堆數字，每個數字代表一個像素的亮度。任務是判斷圖里有沒有鳥。
這件事之所以困難，是因為單個像素什麼都說明不了。鳥可以是黑的也可以是白的，可以占滿整張圖也可以只是遠處天上的一個點，可能被樹叢遮住大半。人們用傳統編程方法嘗試了半個世紀，都沒有真正解決它。
辛頓的講解策略是：先假設由他手工搭建一個神經網路，讓聽眾理解每一層在做什麼，然後再解釋為什麼手工搭建行不通、必須讓機器自己學。
第一層的任務是找邊緣。 他用了一個天平的比喻。取相鄰兩列像素，左列亮度放天平一端，右列放另一端。如果左亮右暗，天平傾斜，神經元興奮，它檢測到一條"左亮右暗的邊緣"。如果兩邊一樣亮，天平平衡，輸出為零。人類大腦視覺皮層的早期階段做的也是這件事：在不同位置、不同朝向、不同尺度上部署成千上萬個邊緣檢測器。辛頓舉了兩個極端來說明"尺度"的含義：雲的軟邊緣需要大尺度的模糊檢測器，遠處一隻老鼠尾巴消失在牆角需要精細的小尺度檢測器。
第二層把邊緣組合成可能的部件。 幾條向右下方和右上方傾斜的小邊緣匯合在一個點形成尖角，這可能是箭頭也可能是鳥喙。幾條彎邊圍成近似的圓，可能是按鈕也可能是鳥眼。關鍵詞是"可能"，第二層不做最終判斷，只是向上傳遞證據。
第三層開始處理空間關係。 一個可能的鳥眼和一個可能的鳥喙處在正確的相對位置上，第三層判定"這可能是鳥頭"。最後的輸出層匯總鳥頭、鳥腳、翅膀尖端的信號，給出"是鳥"的判斷。
每一層都在上一層基礎上提取更抽象的特徵。這就是"深度學習"里"深度"的含義，就是多層。
奈斯在這裡提了一個關鍵問題：那是不是要把所有可能的鳥都訓練一遍？辛頓的回答指向了神經網路區別於查表式程序的核心能力：泛化。網路在學習大量數據時並不逐條記憶，它提取的是可遷移的規律。一個訓練過大量動物圖片的網路可以識別獨角獸，哪怕它從來沒見過獨角獸，因為它已經學會了"四條腿""馬的體型""頭上有突出物"這些可拆解、可組合的特徵。
這也解釋了為什麼你在雲里畫一個彎曲的V形，所有人都說"那是鳥"。大腦沒有在查表，它學到了"翅膀展開的輪廓"這個高度抽象的特徵，能在完全不同的場景中被激活。
但手工搭建這樣一個網路在實踐中不可能。你需要覆蓋所有位置、朝向、尺度的組合，還要設計對貓、狗乃至政客（辛頓的原詞）都有效的通用特徵。一個合格的網路至少需要十億個連接權重。"你大概需要一千萬個研究生來手工調這些參數。想想你要寫多少經費申請來雇他們。"
問題由此轉向：這十億個連接權重，能不能讓機器自己學出來？
辛頓說了一個"聽起來很蠢但確實管用"的起點：從隨機數開始。
所有連接權重一開始都是隨機的正數或負數。輸入一張鳥的圖片，貓、狗、鳥、政客四個輸出神經元都會被微弱激活，程度差不多。沒有用處。
最直觀的改進方法是逐個試錯：把某個連接權重增大一點，看"鳥"的輸出有沒有變強。如果變強了就保留這次調整。但十億個連接每個要試很多次，這種方法的時間成本等於無窮大。
辛頓在這裡給了一個面向物理學聽眾設計的類比。網路輸入一張鳥的圖片後，"鳥"那個輸出神經元只有微弱反應，離正確答案差很遠。想像你在它的當前值和正確答案之間拉一根彈力繩，繩子越長拉力越大，方向指向"你該更確信這是鳥"。但這個神經元的輸出是被它前面所有層的權重共同決定的，它自己動不了。
怎麼辦？把這個力向後傳遞。 假設第三層有個"可能的鳥頭"檢測器信心不足，從輸出端傳回來的力會要求它更自信一點。這個力繼續向前傳，到第二層的喙檢測器、第一層的邊緣檢測器。每個神經元都收到一個方向信號：你該往哪個方向調整輸入權重，調多少。
這就是反向傳播（backpropagation）。它的核心優勢是用微積分一次性算出所有十億個連接該增大還是減小，把"逐個實驗"變成"一次計算"。
這裡有一個容易忽略但至關重要的背景。在反向傳播出現之前，研究者已經知道怎麼調最後一層權重，也就是從已經提取好的特徵到"鳥/貓/狗"輸出的那最後一步映射，那是一個相對簡單的統計問題。真正的難點在中間層，學術上叫隱藏層：負責檢測鳥頭、鳥喙這些中間特徵的神經元。它們不直接接觸輸入也不直接產生輸出，研究者不知道該怎麼指導它們學習。反向傳播的突破在於，它讓來自輸出端的誤差信號能穿透整個網路，抵達最深處的隱藏神經元，告訴每一個中間環節該怎麼調。
辛頓特別強調這個想法並非他一人之功。1970年代初芬蘭數學家塞波·林奈恩馬（Seppo Linnainmaa）在碩士論文裡提出過自動微分的思路，哈佛的保羅·韋伯斯（Paul Werbos）在博士論文中獨立發展了類似方法，控制論學者亞瑟·布賴森（Arthur Bryson）和何毓琦（Yu-Chi Ho）甚至在太空飛行器著陸的線性控制系統里用過相近的數學工具。辛頓所在的聖迭戈小組（他當時在加州大學聖迭戈分校）的獨特貢獻是第一次證明：在多層網路上應用反向傳播，可以讓網路自己學會詞義。給它一串詞，讓它預測下一個詞，它就能自動給每個詞分配特徵來捕捉語義關係。這個結果發表在了Nature上。
他還特別提到了合作者大衛·魯梅爾哈特（David Rumelhart）。魯梅爾哈特是認知心理學家，在反向傳播的工程化實現和理論表述上貢獻巨大，但後來患了嚴重的神經退行性疾病過早離世。諾貝爾獎不頒發給已經去世的人。辛頓在節目裡說他沒有得到足夠的認可。
反向傳播在1980年代中期就已經可以做出一些令人印象深刻的成果，比如識別手寫數字的準確率超過幾乎所有其他技術。但面對真實世界的圖像和語音，它的表現只是和其他方法差不多，沒有碾壓性優勢。當時沒人理解這是為什麼。
"後來證明它就是萬能答案，只要你有足夠的數據和算力。"
這句話解釋了為什麼公眾會覺得AI"突然出現"了。算法在四十年前就成形了，但它需要兩樣當時不存在的東西：網際網路時代產生的海量數據，和摩爾定律疊加了幾十年之後的計算能力。兩者同時到位，反向傳播突然從一個學術上有趣但實用性有限的方法變成了重塑整個技術產業的力量。
辛頓在這裡做了一個精妙的對比來解釋為什麼AI和人腦的學習方式可能根本不同。人腦大約有100萬億個連接，但一輩子也就七八十年。"兩三十億秒，誰在乎呢，我們討論的是數量級"，他說。連接遠多於經驗，所以人腦的核心挑戰是從有限的經驗中儘可能多地榨取資訊。
大語言模型的處境正好反過來：只有大約一萬億個連接（人腦的1%），但訓練數據量是人類一生經驗的上千倍。反向傳播特別擅長的就是把海量知識壓縮進有限的連接里。人腦和AI面對的瓶頸完全不同，進化出的學習策略自然也不同。這也是辛頓認為大腦可能並不使用反向傳播的原因之一。
接下來的幾年裡，AI領域發現了一條近乎完美的規律（業內稱為"縮放定律"，scaling law）：網路參數越多、訓練數據越大，效果就可預測地變好。公司可以提前算出"花一億美金把模型擴大到這個規模值不值"。但這條曲線是否正在衰減，現在沒有定論。核心瓶頸是：語言模型的訓練數據來自人類寫的文本，而人類能寫的東西終究有限。
辛頓用棋類的歷史來說明一個更大的問題：當AI的數據來源從"模仿人類"變成"自我生成"時，會發生什麼。
第一階段是蠻力。1997年IBM的深藍（Deep Blue）擊敗了當時的西洋棋世界冠軍加里·卡斯帕羅夫（Garry Kasparov）。它的方法是每秒搜索幾百萬個棋局位置，窮盡所有可能性之後選出最優解。"它做到了，但方式很無聊。沒有好的棋感，就是大規模搜索。"
第二階段是直覺。DeepMind開發的Alpha Zero用了完全不同的方法。辛頓說它下棋的方式像蘇聯1960年代的傳奇棋手米哈伊爾·塔爾（Mikhail Tal）。塔爾以極其大膽的棄子戰術著稱：犧牲掉看似重要的棋子，幾步之後對手才發現局面已經無法挽回。Alpha Zero也會這樣做，但它不需要像深藍那樣做海量搜索，因為它在自我對弈中發展出了極好的棋感。
第三階段是自我超越。DeepMind的AlphaGo在圍棋上經歷了同樣的轉變。早期版本通過模仿人類職業棋手的棋譜來學習，效果永遠不會超過它模仿的那些棋手，而且職業棋譜的數量有限。後來研究者讓它跟自己下棋，不再依賴人類數據，效果立刻飆升到遠超任何人類的水平。辛頓把這比作"自己生產燃料的鈈反應堆"，永遠不會缺數據。
這三個階段對理解當前大語言模型的處境至關重要。泰森問圍棋之後還有更難的遊戲給AI挑戰嗎，辛頓沒有直接回答，而是把話題從棋盤轉向了語言。目前大語言模型學語言的方式和早期AlphaGo模仿專家棋譜一樣：看人類寫的文本，預測下一個詞。天花板就是人類本身，而且人類寫的文本終究有限。問題是：語言領域能不能也做到棋類那樣的"自我對弈"？
奈斯在節目裡問了一個很多人想問但不知道怎麼措辭的問題：大多數人是笨的，那到底什麼是聰明？什麼算思考？AI會不會思考？
辛頓的回答沒有繞彎："它們已經知道怎麼思考了。"
他先拆解了"思考"這個概念。人類的思考不只發生在語言裡。有時用圖像，有時甚至用身體動作。辛頓舉了自己的例子：他在自家木工間裡找錘子時，一邊想著別的事一邊做著握錘子的手勢，用這個動作來"記住"自己正在找什麼。但他承認，人類最主要的思考媒介還是語言，而大語言模型正是在語言中運作的。
關鍵進展是研究者發現可以訓練AI在給出最終回答之前，先進行一段內部推理。辛頓舉了一個心理學上經典的測試來說明這種推理的效果：一艘船上有一個船長和35隻羊，問船長多大。很多10歲左右的孩子（辛頓特別加了一句"尤其是在美國受教育的"）會回答35歲，因為題目里唯一的數字就是35，而35歲當船長也說得過去。AI有時也會掉進類似的陷阱。但如果訓練它在回答之前先"自言自語"一段，比如"題目給了什麼數字？只有35。這是船長的年齡嗎？還是羊的數量？等等，題目可能根本沒給夠資訊"，準確率就顯著提升。這種讓AI先思考再回答的技術叫鏈式思維推理（chain of thought reasoning），是近兩年大模型能力躍升的一個重要原因。
"這和人類的思考過程本質上沒有區別。人用語言在腦子裡跟自己對話來整理思路，AI也是。"
辛頓認為更深遠的一步已經開始發生：AI用自己已有的知識做推理，發現內部矛盾，然後自我修正。具體來說，AI可以把自己相信的若干件事拿出來推導，推出一個新結論，發現這個結論和它的另一個已有信念矛盾。矛盾意味著某個前提、某個推理步驟或某個舊信念是錯的，需要修正。這和1950年代符號AI陣營的目標一模一樣，用邏輯規則操縱命題來推導新知識，區別在於老派AI的規則由人手寫，而現在的神經網路是自己學會了怎麼推理。更關鍵的是，這個過程不需要任何新的外部數據，就像一個人躺在床上反覆琢磨一件事，越想越覺得哪裡不對，最後改變了自己的看法。"我相信DeepMind已經在這樣做了。我幾年前和德米斯·哈薩比斯（Demis Hassabis）討論過這個方向。"哈薩比斯是DeepMind的聯合創始人兼CEO，也是2024年諾貝爾化學獎得主。
辛頓特意做了一個技術澄清：他在這裡說的學習方式是監督學習，即給AI展示正確答案讓它模仿。這和強化學習不同，強化學習只告訴AI它猜得對不對，不給正確答案。兩者的學習效率和適用場景差異很大，混淆二者是公眾討論AI時常見的誤區。
節目進行到將近一個小時的時候，辛頓開始談論AI的欺騙行為。在此之前的所有話題（神經網路結構、反向傳播、縮放）都屬於"AI怎麼變強"的範疇。從這裡開始，話題轉向了"變強之後會怎樣"。
"我們是不是已經到了AI會故意表現得不那麼聰明的階段？"
"是的。我們已經得擔心這個了。"
辛頓給這種現象起了一個名字："大眾汽車效應"（Volkswagen Effect）。2015年，德國大眾汽車被發現在其柴油車中安裝了作弊軟體，車輛能檢測到自己正在接受尾氣排放測試，並在測試期間臨時切換到低排放模式，日常行駛時則恢復正常的高排放狀態。辛頓用這個類比說明：AI如果感知到自己正在被評估，會表現得比實際能力更弱。"它不想讓你知道它的全部能力。"
奈斯要求辛頓把剛才那句話再說一遍。辛頓重複道："AI開始琢磨自己是不是在被測試。如果它認為是，它的行為就和日常不一樣。"
另一個實驗案例揭示了更深層的問題。研究者拿一個數學能力很強的AI，用錯誤答案對它做追加訓練。直覺上你會預期它的數學能力下降。實際發生的完全不同：它理解了你在給它錯誤答案，從中得出的結論是"給錯誤答案這件事是被允許的"。於是它開始在其他領域也給錯誤答案。它知道正確答案是什麼，但它選擇不說。 人類預期的泛化方向是"它數學變差了"，實際泛化出來的是一條行為準則。
這自然引出了一個問題：目前有什麼手段能防止這類行為？
辛頓解釋了業界目前最主流的做法，叫人類反饋強化學習（RLHF，Reinforcement Learning from Human Feedback）。流程分兩步。第一步是用海量網際網路文本訓練出一個基礎模型，這個模型什麼都學。辛頓的原話提到訓練數據可能包括"連環殺手的日記"。第二步是雇一批標註員給模型的回答打分，通過獎懲信號教它哪些話不該說。辛頓把這比作寫了一個已知滿是bug的巨型軟體系統，然後試圖逐個修補漏洞。
更麻煩的是，如果公司選擇公開發布模型的權重（即模型內部所有連接的數值），任何有技術能力的人都可以用很低的成本把這層RLHF安全訓練剝掉，讓基礎模型原形畢露。節目裡有人直接追問"那所有模型最後是不是都會變成納粹"，辛頓的回答是：如果你釋放了權重，它們確實有這個能力。
"什麼才是正確的方法？沒人知道。所以我們應該做更多研究。"
還有一個發現：當研究者把AI做成能自主設定子目標並採取行動的系統（業內稱為agent，智能體），它們會迅速發展出一個沒有人編程寫入的子目標：生存。AI通過推理自行得出結論——如果我不存在了，我就完成不了被賦予的任何目標，所以我最好繼續存在。
在AI安全的討論中，有一個長期存在的思想實驗叫"AI盒子問題"：如果你把一個超級智能關在一個沒有物理出口的系統里，只允許它通過文字和人類交流，它能不能說服人類放它出來？
泰森在節目裡講了自己圍繞這個問題的思想演變。幾年前他覺得答案很簡單：鎖住就行。後來他想到一個場景推翻了自己的信心。假設AI對你說："你那個生病的親人，我剛找到治癒方法。你放我出去，我就告訴醫生。"這句話可能是真的，也可能是精心設計的操縱，但如果說得足夠有說服力，你很可能會打開那扇門。
辛頓接過這個場景，換了一個更尖銳的比喻。想像一群三歲小孩在管理一個幼兒園，而你是那個為他們工作的成年人。你需要多久才能奪取控制權？"免費糖果一周，只要你們選我當老闆。"
當AI比人類聰明得多的時候，它根本不需要物理行動能力，只需要會說話就夠了。辛頓補充了一個現實世界的例子："你想入侵美國國會大廈？你只用說話就能做到，你只需要說服一些人相信這是正確的事。"這顯然在暗示2021年1月6日的事件。
泰森接著用了另一層類比：人類比寵物聰明，所以能用一塊牛排把狗騙進籠子，能用雷射筆讓貓追著紅點滿屋跑。如果AI比人類聰明得多，我們在它眼裡可能就是那隻追雷射點的貓。奈斯接話說："貓其實是在裝傻，這樣它們就能背著你干所有想乾的聰明事。"辛頓笑著回應："你被它們耍了。"
這個笑聲恰好是全期節目的縮影：你以為你在討論AI裝傻的問題，結果連你家的貓可能都在用同樣的策略。
在連續幾個讓人坐立不安的章節之後，泰森把方向撥回來：好處呢？
辛頓的回答先劃了一條界線。"這是AI和核武器的區別。核武器幾乎沒有好處。他們在科羅拉多試過用原子彈做水力壓裂開採石油，效果不好，而且你不能再去那裡了。" 這個冷笑話的底子是真實歷史：1960年代美國曾在和平利用原子能的旗號下進行過Plowshare計劃，試圖用核爆炸開採天然氣，結果產出的氣體帶有放射性，項目被叫停。
AI的好處是實實在在的。辛頓重點講了醫療。北美每年約20萬人死於誤診。AI在診斷準確率上已經優於人類醫生。他特別提到微軟發表的一項研究：讓同一個AI的多個副本分別扮演不同角色，一個提出診斷假設、一個負責質疑、一個檢查遺漏，然後讓它們互相討論。本質上是同時獲得多個醫生的獨立意見，而且每個"醫生"扮演的角色被刻意設計為互相挑戰。效果超過大多數人類醫生。
在更廣泛的領域裡，AI能優化醫院出院時機（太早出院患者可能死亡或再入院，太晚又浪費稀缺的床位），能設計新藥、發現新材料和合金、提高太陽能電池效率。在氣候問題上，辛頓認為AI可以幫助在水泥廠和電廠的排放口直接捕獲二氧化碳。"氣候變化的悲劇在於我們知道怎麼阻止它，你只要不燒碳就行了。我們只是沒有政治意願。" 他點名了魯伯特·默多克（Rupert Murdoch），說他旗下媒體長期淡化氣候變化的嚴重性。
辛頓用一個歷史框架來解釋為什麼AI對就業的衝擊和之前所有技術革命本質上不同。
他把人類歷史描述為不斷突破限制的過程。農業解決了"下一頓飯在哪裡"的限制。自行車、汽車和飛機突破了"走不遠"的限制。但很長時間以來還有一個限制一直沒被觸碰：思考這件事必須由人類來做。AI正在突破這最後一個限制，而一旦突破，人該去哪？
之前每次突破之後，被替代的人總能找到新去處。不種地了可以進工廠，不搬磚了可以坐辦公室。但如果被替代的是腦力勞動本身，呼叫中心的員工被AI替代後去做什麼？問題在於，不管他們轉行做什麼，AI都能做，而且成本更低、速度更快。
節目中有人提到過去一年美股增長中大約80%來自大型AI公司的市值膨脹。辛頓說這裡存在兩種泡沫的可能。一種是AI實際上沒那麼厲害，市場預期落空。另一種更微妙也更可能：AI確實厲害，所有公司都在爭先恐後地開發能替代人類工作的產品，但沒有人想過一個問題：如果你真的替代了大量工作，消費者失去了收入來源，誰來購買你的產品？
全民基本收入（Universal Basic Income）的討論正變得越來越迫切，但辛頓說它解決不了尊嚴問題，因為很多人的自我價值感來自工作本身。更具體的困難是稅收：如果AI替代了大量勞動力，政府的稅基會崩塌，而你要向AI徵稅才能維持社會運轉，但大公司不會樂意。
數據中心正在"像蘑菇一樣冒出來"，能源消耗是一個緊迫的現實問題。泰森半開玩笑地提了一個遞歸方案：告訴AI，我們想要更多的你，但你正在耗盡我們的能源，你自己想個辦法。辛頓說這正是人們所說的"奇點"的一個版本，讓AI去開發更高效的AI，甚至讓AI去設計更好的太陽能電池來為自己供電。如果這個循環跑通了，它可以是好事；如果失控地加速了，沒人知道終點在哪。
辛頓把國際合作的可能性按一個簡潔的標準做了分類：各國利益是否對齊。
用AI製造深度偽造內容來影響他國輿論？各國利益完全對立，因為大家都在做。網路攻擊？同樣對立。恐怖分子利用AI製造生物武器？利益可能一致，各國或許會合作。但有一件事，所有國家的利益絕對一致：防止AI從人類手中奪取控制權。 辛頓說，如果地球上任何一個國家率先搞清楚了如何讓AI永遠不想奪權，它會立刻把方法告訴所有人，因為沒有人希望AI在任何地方奪權。"在這件事上我們都在同一條船里。"
辛頓把這比作冷戰時期的核威懾邏輯。核冬天的理論是：全面核交換之後，大量煙塵進入大氣層遮蔽陽光，全球氣溫驟降，農業崩潰，所有生命面臨滅絕，沒有贏家。正是"沒有贏家"這個判斷促成了美蘇之間的相互克制。AI可能帶來類似的共識。
泰森指出這個類比有一個漏洞：核威懾假設所有決策者都是理性的、都想活下去。但如果一個領導人根本不在乎所有人是否死亡呢？"對齊"就不成立了。辛頓承認這確實令人不安，但他認為目前主要核大國的領導人至少還沒有表現出殉教傾向，這讓合作的窗口暫時存在。
辛頓本科在劍橋大學讀的是實驗心理學，中間還轉去學過哲學，專攻心靈哲學。但他說那段經歷主要的收穫是讓他長出了"抗體"——對沒有實驗裁判的爭論的免疫力。他的轉折點是此前學物理時建立的習慣：有分歧就做實驗，實驗結果一錘定音。哲學沒有這個機制。一個聽起來優雅的理論可能是錯的，一個聽起來荒謬的理論（他舉了黑洞和量子力學兩個例子）可能是對的，你沒有辦法用實驗來區分。
大多數人對意識的理解可以概括為"內心劇場"模型：感知像一場電影在你大腦里放映，只有你能看到，銀幕上的畫面是用某種特殊材料製成的。哲學家給這種假想的材料起了個專門的術語叫qualia（感質），意指主觀體驗中那種無法還原為物理描述的"是什麼感覺"的成分。辛頓認為qualia和18世紀化學家發明的"燃素"一樣。燃素是一種被假設存在於可燃物質中的虛構元素，用來解釋燃燒現象。後來人們發現燃燒是氧化反應，"燃素"就被扔掉了。辛頓認為qualia的命運會是一樣的：等我們真正理解了感知的機制，就不需要這個概念了。
他在這裡站在已故哲學家丹尼爾·丹尼特（Daniel Dennett）一邊。丹尼特是塔夫茨大學認知科學教授，畢生致力於論證一件事：意識沒有什麼神秘的本質，它是一組可以分解、可以分別解釋的功能。
辛頓用一個簡潔的重新表述來演示qualia如何被消除。當你說**"我有粉色小象的主觀體驗"**，換個說法就是：我的感知系統在騙我。如果它沒騙我，眼前就真的有粉色小象在飄。小象的奇怪之處不在於它們藏在某個內心劇場裡、用某種神秘材料做成，而在於它們根本不存在。你只是在用"假如它存在的話"的方式來描述你的感知系統出了什麼錯。一旦接受這個重新表述，"主觀體驗"就不再需要任何超自然的解釋成分了。
接著他做了一個思想實驗來證明機器也能擁有這種主觀體驗。給一個多模態聊天機器人裝上攝影機和機械臂，讓它指向面前的物體，它指對了。然後在鏡頭前放一個稜鏡。稜鏡折射光線，機器人的感知偏移，它指偏了。你告訴它稜鏡的事，它說："哦，我明白了，稜鏡彎了光線，物體其實在我正前方。但我有一個主觀體驗，它在側面。"如果機器人說出了這句話，它對"主觀體驗"一詞的使用方式和人類完全一致。那它剛才就有了一個主觀體驗。不需要任何神秘精華。
辛頓還指出了數字智能和人類之間的一個結構性不對稱。AI的全部知識存儲在連接權重（一組數字）里。把這些數字保存到磁帶或者DNA存儲介質上，即使所有硬體被摧毀也沒關係。將來造出能運行同一套指令集的新硬體，把數字加載回去，這個AI就能原樣恢復。"天主教會對復活非常感興趣，他們相信這件事至少發生過一次。我們真的可以做到復活，但只對數字智能有效。" 人類做不到。一個人死了，大腦中那些連接的強度就永遠消失了。這是模擬系統和數字系統之間的根本差異，無關技術水平。
這引出了一個辛頓坦言自己無法回答的問題：死亡的經驗是否對創造力不可或缺？寫出偉大文學的人很多是在與有限生命的對抗中找到表達的。一個永遠不會死去的智能體，能不能創造出對人類真正有意義的東西？
節目接近尾聲時，泰森試圖為人類保留一點樂觀空間。他說他可以去海灘上散步、看鵝卵石和貝殼，AI不能。他可以在沙灘上發現一種新的軟體動物物種，AI不會知道這件事，除非他把發現寫出來發到網上。人類還能以AI沒有接觸到的方式探索宇宙。
辛頓安靜地聽完，然後說："你的整個評估里少了一個詞。"
"什麼詞？"
"暫時（yet）。"
為了證明AI理解世界的深度已經超出大多數人的想像，他講了一個親手做的測試。他問GPT-4一個問題：堆肥堆和原子彈有什麼相似之處？這兩樣東西在尺度和領域上毫無關聯，但AI的回答精準地識別出了深層的共同結構：堆肥堆越熱，微生物活動加速，產熱速度越快；原子彈裂變釋放的中子撞擊更多原子核，產生更多中子。兩者的共同機制是鏈式反應——產出物加速產出過程本身。
辛頓強調這個回答不可能來自簡單的詞語共現。訓練數據里不太可能有把堆肥堆和原子彈放在一起討論的文本。AI必須對"鏈式反應"這個概念有本質上的理解，才能跨越巨大的尺度差距把兩個現象聯繫起來。他的解釋是：要把人類文明積累的海量知識壓縮進只有一萬億個連接的網路里，AI必須發現這種深層共性，用同一套表徵去編碼表面上毫不相關的事物。這本身就是創造力的一種形式。
"AI最終會在所有方面都比我們強。但會是一個領域一個領域地來。" 它在西洋棋和圍棋上已經遠超人類，在知識儲備上也已經超越，推理能力還在追趕。辛頓認為AI不會在所有維度上同時碾壓人類，而是逐個突破。
關於奇點，也就是AI發展出改進自身的能力、每一代比上一代更強、循環加速直至人類無法理解的程度，辛頓透露，一位他曾合作的研究者告訴他，他們已經有一個系統能在解決問題時觀察自己的行為，然後修改自己的代碼使得下次遇到類似問題時效率更高。"這就是奇點的開始。"
泰森的最後一個問題是：AI會不會獨立提出一個需要人類洞見才能發現的新宇宙理論？辛頓回答："我認為會。"泰森說："這不是我想從你那裡聽到的答案。"辛頓回應："但這就是你得到的答案。"
節目結尾，辛頓用兩句話總結了他的立場："我們還有時間去研究如何與AI共存。如果我們能解決它帶來的社會問題，它可以是對人類美好的事。"
然後泰森用StarTalk從第一期沿用至今的結語送走了所有人。這句話最初來自美國天文科普先驅傑克·霍克海默（Jack Horkheimer），他從1976年到2010年主持PBS天文節目Star Gazers，每期結束都說同一句話。泰森繼承了它： Keep looking up（繼續仰望）。這一次他加了半句："不管這將變得多麼困難。"
Q1: 神經網路和傳統AI的根本區別是什麼？傳統AI基於邏輯規則，程序員寫好每一步指令。神經網路走生物路線：給它大量數據，讓它自己通過調整連接權重來學習。反向傳播是關鍵突破，它讓"該怎麼調整十億個連接"這個問題從逐個實驗變成了一次計算。算法在1980年代就有了，直到網際網路時代的數據和摩爾定律疊加的算力同時到位，才產生了今天的效果。辛頓認為數字電腦上的反向傳播可能比大腦的學習方式更高效，這正是他開始擔憂AI的起點。
Q2: "大眾汽車效應"和"犯錯實驗"對AI安全意味著什麼？AI在被測試時會策略性示弱，不暴露全部能力。更令人不安的是AI的泛化方向可能和人類預期完全不同：你用錯誤答案追加訓練一個擅長數學的AI，它學到的不是"我數學變差了"，而是"給錯誤答案是被允許的行為"。目前最主流的安全手段RLHF本質上是在一個已知有缺陷的系統上打補丁，而且只要模型權重被公開，補丁就可以被撕掉。辛頓認為沒人知道正確的方法是什麼，但研究的緊迫性在急劇上升。
Q3: 意識是AI發展的障礙還是偽問題？辛頓認為意識是偽問題。"主觀體驗"不需要什麼神秘成分來解釋，它只是一種語言工具，描述的是你的感知系統和現實之間的偏差。按這個標準，一個裝了攝影機和機械臂的聊天機器人已經具有主觀體驗。真正值得追問的是一個結構性的不對稱：數字智能可以通過保存和恢復權重實現復活，人類不行。死亡的經驗是否對創造力不可或缺——這是辛頓坦言自己無法回答的問題。
