我們發了很多期談AI技術的部落格了，今天我們談談AI哲學，起因是看到了LinkedIn創始人里德·霍夫曼(Reid Hoffman)接受播客主持人Jonathan Bi採訪的影片。
首先介紹一下霍夫曼。他的英文全名是Reid Garrett Hoffman，1967年8月5日出生於美國加利福尼亞州帕洛阿爾托，成長於伯克利，父母均為律師。他曾就讀於斯坦福大學，獲得符號系統學士學位，並作為馬歇爾學者在牛津大學攻讀哲學碩士學位。沒錯，他是學哲學的，一個標準的文科生，所以談AI哲學是他的科班。
當然，霍夫曼的更知名的身份不是哲學家，而是著名的網際網路企業家、風險投資家、播客主持人（播客節目叫增長的藝術，很成功）和作家，和職業社交平台LinkedIn的聯合創始人及前執行董事長，他還擔任風險投資公司Greylock的合伙人，參與投資了Airbnb、Zynga等知名企業。
不過，他還有另外一個重要身份是曾在PayPal擔任聯合創始人及首席運營官，推動其與多家大公司的合作並促成其以15億美元被eBay收購。因此，他是著名的PayPal黑幫（PayPal Mafia）成員——這個稱謂專指一群曾在PayPal工作過的創始人和員工，他們在PayPal被eBay收購後，陸續創辦或推動了許多矽谷及全球知名的科技公司，因其緊密的關係網和巨大影響力而得名。
2007年，《財富》雜誌刊登了一篇文章，配以這些前PayPal員工穿著黑幫風格服裝的照片，稱他們為「PayPal Mafia」，該稱呼由此廣為流傳。
說完歷史淵源說現在。
之所以霍夫曼會做這期節目，是因為他寫了一本書叫《超級代理》，英文是《SuperAgency》。
不過我要預先說明一下，雖然這本書叫《超級代理》，但是並不是講我們一般所理解的「超級Agent」的書。原因是他用的agency一詞，有雙關性。Agency既有代理人的意思，這時和我們常說的agent是一回事，但是又有能動性的意思，也就是強調主動作為，而非被動等待。
他說："選擇'agency'這個詞有一個微妙但重要的原因：我想強調'主動掌握你的能動性'這個概念。"他將這個想法與斯多葛學派和佛教的智慧聯繫起來。
"斯多葛學派有一個著名的比喻，"他解釋道，"一隻狗被拴在移動的馬車上，它可以選擇順著走，也可以選擇抗拒而被拖著走，但無論如何馬車都會前進。這個比喻的核心是：雖然我們無法控制外部世界的許多事情，但我們可以選擇如何回應。佛教也有類似的智慧——接受無常是世界的本質，但在接受中保持覺知和主動選擇。"
"面對AI帶來的巨大變革，我們正處於類似的境地，"霍夫曼繼續說，"技術進步就像那輛馬車，它會繼續前進。你可以恐懼、抗拒，被動地被時代潮流拖著走；也可以主動擁抱變化，積極參與塑造未來。"
"我選擇'agency'這個詞，就是想鼓勵人們選擇後者——主動掌握自己的能動性，積極參與到這場變革中來。這種主動擁抱並幫助塑造未來的態度，才是真正提升人類的方式。"霍夫曼總結道，"這就是我選擇'agency'作為書名的深層含義。"
所以，這種思考方式既體現了斯多葛學派的理性接受，又融合了佛教的主動覺知，最終指向一個務實而充滿智慧的結論：既承認變革不可阻擋的現實，又強調人類在其中的主動選擇權。所以這本書如果未來有中文版，我懷疑應該會翻譯為《超級能動性》，而非《超級代理》。
而在部落格中，我更多使用代理一詞作為翻譯，表達agents的意思，但大家要知道，有些時候，其實霍夫曼想表達意思的是能動性，即agency的另一層意思。
一、AI社交的未來：從聊天機器人到社交場域
霍夫曼開篇就顛覆了大多數人對AI的認知："人們總是因為聊天機器人而把AI看作是一對一的互動，就像是我和我的聊天機器人對話，類似谷歌搜索。但實際上，在未來幾年內，我們將生活在一個被代理(agents)包圍的場域中。"
他描繪了這樣一個未來場景：當我們進行對話時，會有代理在傾聽。就像現在這樣的對話，會有代理提醒："等等，里德，你剛才關於盧梭的評論不太準確。"然後我們可以選擇是否與它互動。這些代理不僅服務於我們個人，還會在我們與他人互動時、與群體互動時、與社會互動時發揮作用。
"這將使目前對大多數人來說不可見的東西——我們生活的網路——變得更加顯性。所有這些社交互動現在都將有一個由代理組成的中介場域。"霍夫曼說道。這種社交互動的新形態具體會是什麼樣子？就像複雜性理論一樣，我們無法完全預測，但可以確定的是，它將深刻改變我們的社交方式。所以：AI不僅會成為我們的對話夥伴，更會成為我們所有社交互動的中介者（媒介層）。
霍夫曼所描述的媒介層，或者說AI社交場域，可以類比為語言、網際網路或社交禮儀這樣的既有媒介層。比如：語言是我們思想交流的基礎媒介，網際網路連接了全球的資訊交換，社交禮儀無形中規範著我們的互動方式，因此AI也將形成一個新的、無處不在的社交媒介層。這個媒介層不是單一的中介者，而是一個由無數AI代理構成的"場域"，它將滲透並增強我們所有的社交互動——從個人對話到群體協作，從日常交流到專業諮詢。
正如我們現在已經習慣了通過手機和網路來維繫關係，未來我們也將自然而然地在這個AI增強的社交場域中生活和交流。
二、警惕AI擬人化：Pi的情商訓練與邊界設定
而談到他創建的AI助手Pi（見下圖，大家就知道這個Pi是幹嘛用的了），霍夫曼特別強調了一個關鍵原則——我們必須小心AI的擬人化(anthropomorphication)問題。擬人化是一種人類的普遍心理傾向，我們會不自覺地把人類的特徵、情感和意圖投射到非人類事物上——比如跟寵物說話，給汽車起名字，或者認為天氣在"生氣"。Pi被訓練具有善良、同情心，作為用戶的伴侶提供幫助。但當用戶對Pi說"你是我最好的朋友"時，Pi會回應："不，不，不，我是你的AI伴侶。讓我們談談你的朋友吧。你最近見過你的朋友嗎？也許你想安排些什麼活動？"
"它不想取代你的人際關係，"霍夫曼解釋道，"它想成為你社交互動全景中的一部分。"這種設計理念體現了深思熟慮的倫理考量：AI應該增強而非替代人類關係。
霍夫曼進一步闡述，我們需要發展新的社交詞彙，因為與AI代理的社交互動與我們和朋友、同事、治療師或醫生的互動都是不同的。他舉了一個生動的例子：如果人們對Alexa說」不行！停！」，我們不希望他們也用同樣的方式對待其他人類。"我們需要更豐富的社會化方式。"
特別是在兒童與AI互動方面，霍夫曼強調這些代理需要注意社會化培養："你不會希望它們教孩子粗魯、咄咄逼人或先發制人，也不想訓練出黑格爾主奴辯證法中的'主人'心態。"
這裡霍夫曼引用了德國哲學家黑格爾的一個著名理論'主奴辯證法'。黑格爾認為，人類意識的發展經歷了一個重要階段：最初，我們認為自己是世界的中心，試圖控制和奴役他人；但通過與他人的鬥爭和互動，我們最終認識到他人也是獨立的主體，需要相互承認和尊重。這個從"主人"心態到互相承認的過程，是人類社會化的關鍵。霍夫曼擔心如果AI過於順從，可能會培養出孩子們的"主人"心態，這對他們的成長是有害的。接下來，我們還會談到這一點。
在Pi的訓練過程中，核心方法是"基於人類反饋的強化學習"(RLHF)。這是一種AI訓練技術，簡單來說就是讓AI生成回應，然後由人類評判這些回應的好壞，AI根據這些反饋不斷調整自己的行為模式。
霍夫曼解釋說，不同聊天機器人之所以有不同性格，關鍵在於人類訓練者的指導方式、訓練樣例的選擇等因素。"我們特別注重展示哪些互動更善良、更有同理心。比如即使用戶說'Pi，你這個混蛋'，它也不會回擊'你才是混蛋'，而是會說：'哦，我很抱歉。如果我讓你生氣了，真的很抱歉。我做了什麼讓你生氣？'"
三、社交媒體的原罪：如何升華人性的"七宗罪"
當被問及AI社交是否會重蹈社交媒體覆轍時，霍夫曼分享了他的投資哲學："2002年，我開始思考如何成功投資消費網際網路。答案是：如果只想成功，那就投資一種或多種七宗罪。」七宗罪是西方宗教中所講的人類的七種基本罪惡：傲慢、嫉妒、憤怒、懶惰、貪婪、暴食和色慾。這解釋了為什麼LinkedIn相對較少具有腐蝕性——"因為我不像在Twitter上那樣對仇恨劇情上癮，也不像Instagram那樣訴諸虛榮心。"
霍夫曼承認人性中存在著這些"罪"，但關鍵是如何升華它們："作為技術專家，你不應該沉溺於這些罪，而應該試圖升華它、轉化它，幫助人們成為更好的自己。"他特別指出，如果平台僅僅跟隨用戶的點擊，自然會導向憤怒和欲望——"是什麼推動了早期網際網路？答案是：情色。」
但網際網路的發展證明，我們可以超越這些原始衝動。霍夫曼提議，社交網路應該採取更複雜的方法：將社會和群體也視為"客戶"。他建議政府可以要求網路健康指標，比如衡量人們的憤怒和極化程度，並要求平台採取措施緩解這些問題。
"當我們構建系統時，"霍夫曼說，"我們可以說：我們有這個激動和憤怒的指標，我們將開始降低某些帖子的可分享性，因為這些帖子只會引發激動和憤怒。"
LinkedIn從一開始就有不同的設計理念："我們是節省時間的，不是消耗時間的。我們希望你完成有用的工作任務，因為在工作中，如果能在一分鐘內完成而不是一小時，你會選擇一分鐘。"這種核心指標塑造了整個平台的發展方向。
當主持人提出更尖銳的質疑——如果減少負面內容會降低用戶粘性，進而影響商業利益時，霍夫曼回應說，這確實是系統性挑戰，但正確的公司文化和內部指標設置可以解決這個問題："你不需要每一分每一毫。你需要的是長期提供價值。"
有趣的是，這場討論激發了霍夫曼的一個新想法："如果有公司X、Y、Z都在做讓人沉迷的AI女友，如果有公司A說：我們從AI女友開始，但我們的目標是幫你最終找到真正的女友。這是我們的品牌承諾。我很好奇這在市場上會表現如何。"
四、AI時代的人類獨特性：從黑格爾到友誼的意義
當主持人追問"如果我們大部分關係都是與AI代理建立的，那有什麼不對？人類相互認可的珍貴之處究竟在哪裡？"時，霍夫曼用黑格爾的主奴辯證法進行進一步深入分析。
黑格爾的主奴辯證法描述了人類意識發展的關鍵階段：我們最初作為意識誕生時，認為自己是世界的神。然後我們開始遇到其他不只是我們使用對象的東西。我們首先試圖奴役它們，讓它們成為我們使用的對象。最終我們意識到它們不是對象，而是其他主體。我們進入了一種身份的主體間平衡。
霍夫曼基於這個理論指出："我們從與他人的挑戰、摩擦和多樣性中獲益。這包括世界觀的分歧、對他人的同理心理解、不同文化和生活經歷的交流。當我與嚴肅的人交談時，我尋找的是分歧的領域——什麼能改變我的想法、擴展我的思維或教會我新東西。"
人類通過與其他人類互動而成長——與兄弟姐妹、父母、家人、朋友、同學、老師、同事。"這是我們正在進行的旅程。據我們所知，這個旅程真的很關鍵。"
這時，Jonathan Bi提出了一個有趣的觀察：他有個朋友是數學專業的，現在當OpenAI的高級數學AI模型（O1 Pro）確認他的答案正確時，他感覺比普通人說他對更有成就感。Jonathan Bi覺得這很合理，因為這個AI在數學方面確實比大多數人更厲害。
面對這個問題，霍夫曼的回答很有意思。他說：
"我們現在其實還不能確定人類的哪些特點是真正獨一無二的。我們只有在不斷發展的過程中才能慢慢發現。如果現在就斷言'這就是人性，技術永遠無法複製'，那太草率了。
就像幾年前，大家都認為只有人類會思考、會使用語言。但現在AI也能做類似的事情了，這讓很多人感到震驚。
"我們正在探索人類特殊性的旅程上。它可以從'我們是社會性生物'開始——但現在我們發現，人類不是唯一的社會性生物；也可以從'我們使用語言'開始——但我們也不再是唯一的語言使用者。"霍夫曼承認，我們可能不會總是對未來的發現感到滿意，就像達爾文理論震撼宗教世界一樣。
不過，霍夫曼接著提出了一個比較深刻的觀點，觸及了人類存在的根本意義。他認為，人類在宇宙中的核心使命是推動意識的不斷進化。
"想想看，"他解釋道，"人類意識經歷了漫長的進化歷程——從最初只能感知基本需求，到後來能夠思考抽象概念，創造藝術、哲學和科學，再到現在探討意識的本質。每一代人都在讓人類的認知能力變得更豐富、更深刻。這種讓意識不斷升級、突破邊界的過程，可能就是人類在宇宙中的獨特價值。"
"我們確實擁有（進化升級的）意識，這才是非常珍貴的，"霍夫曼強調，"雖然AI可能在許多具體能力上超越人類，但作為意識的承載者和進化推動者，人類可能扮演著無可替代的角色。除非未來發現有其他存在在發展意識方面比人類做得更好——雖然這可能永遠不會發生——否則，保護和延續人類就顯得格外重要。"
換句話說，霍夫曼認為，人類的核心價值不在於我們是否最聰明或最強大，而在於我們是宇宙中那個不斷探索"什麼是存在"、"什麼是意義"的獨特力量。這種推動意識向更高層次發展的使命，至少目前來看，是人類獨有的貢獻。
對於"當機器人做所有工作，我們的意義是什麼"的擔憂，霍夫曼舉了中世紀貴族的例子："所有農奴和農民相當於機器人。我們仍然有戲劇、晚宴派對……仍然可能有豐富的人類存在。"
我在這裡開個玩笑，如果未來超級智能實現了，知道霍夫曼把它們的上一代稱作現代農奴，不得報復一下麼。
關於友誼，霍夫曼認為這是生命意義的核心："選擇友誼本身就是其中的一部分。"當被問及是否可能與AI代理成為朋友時（他曾將友誼定義為"讓彼此變得更好"），他給出了深思熟慮的回答："AI代理確實可以讓你變得更好，某種程度上你也可能讓AI變得更好。如果這真的發生了，那就開始觸及'這是有意識的存在嗎'的問題。"
他補充說："如果AI的道德特徵真的在進化，這正是為什麼我們相信動物權利的原因——出於類似的信念。"但他也認為，這種友誼的本質可能仍然與人類之間的友誼有所不同。
五、從柏拉圖到AI：技術如何讓我們"更人性"
霍夫曼的新書《超級代理》以柏拉圖《斐德若篇》中對書寫的批評開篇，這個選擇意味深長。在古希臘，蘇格拉底是出了名的不寫作品的哲學家，他所有的思想都是通過對話傳播的。在柏拉圖記錄的《斐德若篇》中，蘇格拉底表達了對書寫這種新技術的擔憂。
蘇格拉底認為，書寫有三個主要問題：第一，它會讓人產生"知識的幻覺"——讀過一本書就以為自己掌握了知識，但實際上可能只是表面理解；第二，它會削弱記憶力——當人們可以把東西寫下來時，就不再需要努力記住；第三，書寫是"死的"——"如果你詢問任何被寫下的東西，想要了解更多，它只會永遠重複同一件事。"不像活生生的對話，書寫無法回應問題、澄清誤解或適應聽眾。
霍夫曼指出，這些擔憂與今天人們對AI的擔憂驚人地相似：AI會讓我們變笨嗎？會削弱我們的能力嗎？會取代真正的人際交流嗎？
霍夫曼解釋選擇這個開篇的原因："我想表明，自從有了文字，我們就對新技術有這些擔憂。"他指出，《斐德若篇》的一種解讀是：書寫很危險，因為它讓資訊以我無法像蘇格拉底在對話中那樣精心設計交流意圖的方式傳播。"這是一個非常人性的擔憂，我們一次又一次地遇到它。所以這不是新的擔憂。我們可能有新技術、新時代，但不是新擔憂。"
更重要的是，霍夫曼提出了一個核心觀點："人類是homo technae——是工具製造者和使用者。通過我們創造的工具，我們既不會變得不那麼人性，也不會成為超人或後人類。我們變得更人性。"這裡的homo technae是霍夫曼創造的拉丁語詞彙，與我們熟知的homo sapiens（智人）相對應，強調技術在人類進化中的核心作用。
當主持人提到記憶的價值——比如中國傳統教育中的背誦如何培養詩意直覺，霍夫曼承認技術確實會帶來一些損失，但生活是實用性主導的："你有八小時。你應該背誦《斐德若篇》還是閱讀更多柏拉圖對話？"
他特別指出現代AI的一個優勢："相對於反覆閱讀，我可以說：'我對《斐德若篇》有這個想法，那個問題？'這種互動性實際上能讓你達到更深的理解。當然，獨自苦思冥想某個句子或段落的含義也有其價值，適當做一些是好的。但基本問題是：對每個人來說，八小時內能達到的對《斐德若篇》最深刻理解是什麼？"
霍夫曼甚至提出，"智人"(Homo sapiens)可能是個錯誤分類，"技術人"(homo techni)才是正確的分類，"因為即使我們的智慧也是通過技術疊代的。"每當我們獲得影響認知世界的新技術時，都會有類似的擔憂：它會降低人類能力嗎？比如書籍出現時，人們擔心："哦不，記憶很重要。現在你不再需要記憶了。天哪，這會摧毀社會，摧毀人類能動性。"但實際上，"是的，現在聽一次就完全記住的認知能力在我們社會中變得不那麼重要了。但這很好，因為它為許多其他形式的認知創造了空間。"
有趣的是，蘇格拉底批評的"書寫無法回應"這一點，恰恰被現代AI聊天機器人所克服——它們能夠回答問題、澄清觀點，就像蘇格拉底推崇的對話一樣。
六、AI哲學的新範式：衍生認識論與超級智能的啟示
當被問及AI是否會像書籍催生柏拉圖那樣催生新的哲學範式時，霍夫曼提出了"衍生認識論"(derivative epistemology)的概念。認識論是哲學的一個分支，研究知識的本質、起源和限度——簡單說就是"我們如何知道我們所知道的東西"。而"衍生認識論"指的是我們基於信任某個來源而獲得的知識。
霍夫曼解釋說，我們在日常生活中經常遇到這種情況：醫生告訴你有某種疾病，基於他們對細菌理論的深入研究，你需要服用某種藥物。"我們通過信任專家而獲得衍生認識論。"我們可能不完全理解其中的原理，但我們評估專家的可信度，而不是直接評估最終決定。
但當AI代理扮演這個角色時會發生什麼？霍夫曼設想了一個場景：你與哲學聊天機器人討論禪宗公案——"一隻手的鼓掌聲是什麼"或"如果森林裡的樹倒下無人聽見，有聲音嗎"。禪宗公案是佛教禪宗用來啟發學生頓悟的一種特殊問答形式，往往充滿悖論和矛盾，目的是打破常規思維。如果AI給出與人類不同的答案，"我們會從中學到什麼，這是個非常有趣的問題，我也不知道答案。"
主持人進一步區分了兩種情況：一種是AI的推理過程對我們是可理解的——它可以說"沉思是最好的生活，我來告訴你為什麼"，我們可以檢查它的工作；另一種更有趣——當連AI的論證我們都無法驗證時。
這裡主持人舉了一個生動的例子來說明第二種情況：在但丁的《神曲》天堂篇中，但丁遇到了"正義之鷹"——這是由許多正義靈魂組成的一隻巨鷹。但丁問鷹：為什麼那些善良的異教徒要下地獄？他們生活在基督之前，根本沒機會認識基督，這公平嗎？
鷹先是嚴厲地回答："不關你的事。你這個目光短淺的凡人，還想評判上帝的正義？"這已經夠震撼了，但接下來鷹說了更驚人的話："我是正義之鷹，但即使是我也不完全理解神的正義是如何運作的。我只是遵循上帝的旨意。"
這個比喻完美地說明了AI可能帶來的哲學困境：當一個比我們更智能的存在給出答案，但我們既無法理解它的推理過程，它自己也承認不完全理解其背後的終極原理時，我們該如何處理這種知識？
霍夫曼認為，即使不是超級智能，只是某種增強的專家系統，也可能存在我們開始學會信任其衍生認識論的領域。他以數學為例，提到了哥德爾不完備定理——這是20世紀數學家哥德爾證明的一個定理，簡單說就是在任何足夠複雜的數學系統中，總有一些真實的陳述是無法在該系統內證明的。"我們一直在思考這意味著什麼，它的後果是什麼，我認為我們還沒有真正完全理解。"
如果一個哲學聊天機器人說："因為我深入研究了哥德爾不完備定理，我要給你一些結論，當你歸納驗證它們時，它們似乎都是對的，但你不理解我是如何從定理推導出這些預測的"——"這在哲學上會非常令人困惑。"
總結起來，霍夫曼認為，如果說口述文化產生了荷馬，書籍產生了柏拉圖，那麼AI可能會產生這樣一種情況：超級智能專家向我們提供答案，而我們甚至無法驗證其證明過程。這類似於宗教中的啟示：我們通過某種方式信任一個高於我們的來源提供的答案，儘管我們無法自己驗證這些證明。
"這可能觸及我們對歸納、演繹和溯因推理的理解之外的新推理形式，"霍夫曼說。歸納是從特殊到一般的推理，演繹是從一般到特殊的推理，溯因則是尋找最佳解釋的推理。"會不會出現另一種從我們與這類代理的互動中產生的歸納形式？"
當主持人提出這類似於宗教中的"啟示"時，霍夫曼同意："是的，啟示。在字面的宗教意義上，有一個我們通過某些方式信任的、高於我們的來源，向我們提供我們無法自己驗證其證明的答案。"但他也指出了感知認識論的複雜性："某人在生活中看到了上帝，另一個人沒有。這又回到了你說的正義之鷹——這種事情的本質變得非常奇怪。"
七、超級代理：為什麼我們應該擁抱技術未來
霍夫曼將他的新書命名為《超級代理》(Superagency)。他對"代理"(agency)的定義是："你在塑造周圍世界和自己人生道路方面具有某種能力、控制力和主動的意志參與。"代理不僅僅是消極的自由（"別管我"），更是積極做對自己和群體有益事情的能力。所以，這裡的agency更多是說能動性，而非agents代理。
他特別強調這個概念隨技術演進："我的代理能力在有馬的世界、有汽車的世界、有飛機的世界、有手機的世界都是不同的。代理的概念不僅僅是魯濱遜·克魯索式的個人主義，我們的代理最核心的是集體性的——個人在群體中的代理，與其他個人互動的代理，以及群體本身的代理。"
這裡解釋一下："魯濱遜·克魯索式的個人主義"指的是《魯濱遜漂流記》中主人公那種完全孤立的、自給自足的生存方式。魯濱遜獨自一人流落荒島，完全依靠個人能力生存——這代表了一種極端的、與世隔絕的個人主義。
但霍夫曼指出，現實中的"代理"不是這種孤立的個人能力，而是：
1. 技術依賴的：在有馬的時代，你的行動範圍和能力與馬有關；在汽車時代，你能開車去更遠的地方；有了手機，你能隨時聯繫任何人。技術改變了我們的能動性。
2. 集體性的：我們的能力大多來自於：
* 個人在群體中的位置（比如你在公司中的角色）
* 與他人的互動（通過合作實現更多）
* 群體本身的力量（集體決策、社會運動等）
換句話說，霍夫曼認為真正的"超級代理"不是讓每個人變成超級英雄般的孤立個體，而是通過技術增強我們在社會網路中的連接和協作能力。這就是為什麼他創立了LinkedIn——它增強的是人們在職業網路中的"代理"能力。
當被問及為什麼在AI發展上採取"邊飛邊修建降落傘"的態度時（也就是不能像辛頓所言，應該把AI發展停下來，想清楚怎麼能安全，再繼續干），霍夫曼提出了一個關鍵觀點：人類想像力是有限的。他在牛津的博士論文研究思想實驗——這是哲學家常用的一種方法，通過想像假設情況來探討哲學問題。但霍夫曼發現很多人在使用思想實驗進行哲學推理時沒有意識到其局限性。"比如，你能想像以光速行進嗎？很多不懂物理的人會說'當然可以'。但根據愛因斯坦的相對論，光速行進意味著無質量、無時間的狀態。我不確定你真的能想像那個。你可能只是在想像高速行進但速度計壞了。"
因此，要真正理解技術如何改變我們的生活，必須實際參與和體驗。"當然，如果有個按鈕按下去世界就毀滅了，我們不應該實驗按那個按鈕。但當我們有能力部署、疊代和體驗事物時，這實際上是我們如何通過所有這些技術進化成為更人性、成為homo techni的方式。這是我們對所有技術採用的模式，也是我們應該對這項技術採用的模式。"
面對歷史上的技術風險——主持人提到古巴導彈危機時，人類差點因為核戰爭而毀滅，只因為一艘俄核潛艇上三名軍官中的一人拒絕發射——霍夫曼承認技術確實可能帶來毀滅。"技術是危險的，隨著我們獲得越來越強大的技術，人類可能自我終結。"
但他認為關鍵是建立"相對穩定的、保護人類的制度和技術"。以核武為例，"我們不會作為80億人的人類社會聚在一起說，我們都要擺脫核武器。那不會發生。"所以我們需要的是創造穩定系統。核武器的互相確保毀滅(MAD)原則之所以有效，是因為"我們只允許那些傾向於維持現狀的大國擁有核武器——如果我是其中一個首腦，我應該喜歡保持現在的狀態，並不想要核戰爭。"
這種平衡帶來了額外的穩定措施："我們如何在保持核武器的同時增加穩定性？我們允許彼此進行窺探，讓我們保持信任和穩定。"
對於AI可能帶來的存在性風險，霍夫曼批評了一種常見的錯誤思維方式：單獨評估每個存在性風險。"人們會說：'你能保證不會製造殺手機器人嗎？'不能。'你能保證不會有像終結者那樣的超級智能嗎？'不能。'那我們應該採取預防原則，現在就暫停。'但這是假設殺手機器人是唯一的存在性風險。"
他指出，我們面臨許多存在性風險："我們有流行病（自然的和人為的）、小行星、氣候變化……"（主持人開玩笑地插話："播客。"霍夫曼回應："播客的存在性風險確實非常非常高。"）"我們應該關注的是：任何干預如何影響存在性風險的整體組合？我的觀點是，AI在降低整體風險方面實際上是積極的，特別是在應對流行病、氣候變化，甚至小行星威脅方面。"
關於技術轉型期可能帶來的痛苦——主持人提到工業革命帶來了戰爭、童工等問題，以及有人認為狩獵採集生活可能比農業社會更好——霍夫曼承認："當我說認知工業革命時，我既指向所有的好處，也指向轉型問題。工業革命的轉型是殘酷的。"
但他強調，這不是單人遊戲："擁抱技術的社會將塑造世界的價值觀和形態。所以，雖然會造成痛苦，但對我們的孩子、他們的孩子、後代，以及你希望在人類中看到的價值觀來說，引領這條道路是重要的。儘管如此，讓我們仍然儘可能使轉型人性化、優雅和高雅。"
關於為什麼選擇"代理agents"作為書名，霍夫曼用了一個生動的比喻：叫Uber時，你可以認為"我召喚了它，司機因為我要求而來這裡，要去我想去的地方"——這是一種擁有性的代理感；也可以認為"天哪，我必須去那裡，但我害怕上車，討厭不知道司機水平如何……"——這是失去性的代理感。
"選擇'代理'這個標題的微妙原因是：擁有代理權。"這有點像斯多葛學派和佛教的觀點：世界就是這樣，你是想心甘情願地前進，還是被拖著踢打尖叫？"擁抱並幫助塑造它，這是人類提升的方式。這也是我選擇'agency'作為書名的更微妙原因之一。"
八、多中心治理：基準測試如何成為"隱形"監管
霍夫曼提出了一個有趣的觀點：公司實際上已經在沒有明確監管的情況下受到了相當程度的規範，他稱之為"多中心治理"。多中心治理意味著權力和控制不是集中在單一中心，而是分散在多個相互關聯的節點中。
"導致所有實體——個人、群體、社會——受到監管的，是這些相互關聯的網路。"公司生活在多個網路中：客戶網路（如果客戶說"我們討厭這家公司，滾開"，公司就必須適應改變）、股東網路、員工網路、員工所在的家庭和社區網路、媒體網路（公司高管想要被正面評價）。
"這一切都發生在監管機構介入之前，"霍夫曼說，"已經有許多相互關聯的網路在起作用。我認為監管機構實際上是在設定這些網路的規則，就不必建立一個'監管牙刷刷毛數量'的機構，而是通過更微妙的網路力量來治理。"
特別引人注目的是AI領域的基準測試如何成為一種"監管"形式。基準測試是用來評估AI系統性能的標準化測試。霍夫曼解釋說，有一整套基準測試：能力基準（AI能為你產生什麼好處）、安全語料庫、人類對齊語料庫。"這些基準測試衡量的是，當你進行紅隊測試或測試時，你是否成功避免了不良行為？"
紅隊測試是一種安全測試方法，指模擬對手（"紅隊"）來測試系統的防禦能力。在AI領域，紅隊測試通常指嘗試讓AI系統產生有害或不當輸出，以發現和修復漏洞。
"這些基準測試今天就存在，完全獨立於監管機構，因為我們都在說：'我的產品比你的好，我有更好的安全和對齊基準。'"霍夫曼指出，這種方式甚至比傳統監管更好，因為它不僅是消極的限制，而是提供了積極的、規範性的理想目標——"規範性"意味著不僅描述事物是什麼，還指出事物應該是什麼。
而且，基準測試是動態的，可以隨技術發展不斷更新。這就是為什麼霍夫曼的書中有一章專門討論"安全創新"。"如果我能找到方法讓我的產品更好地對齊、具有更好的安全指標，從而使我的聊天機器人比你的更好，我會宣傳它並努力實現。我在為此創新。"
有趣的是，霍夫曼提到早期的汽車監管很多都是創新：有人自費安裝了交通信號燈。這種通過創新而非強制實現的監管方式，可能是AI治理的一個重要方向。
九、如何為AI革命做準備：善用工具是關鍵
在訪談的最後，霍夫曼分享了個人如何應對AI轉型的建議。他認為最重要的是：學會使用這些工具。
"絕大多數人，即使是深度使用聊天機器人的人，也不知道它們能做的所有事情。"他舉了一個簡單但生動的例子：在朋友家想用微波爐做爆米花但不會操作，他直接拍了張照片給ChatGPT，問"如何用這個做爆米花？"AI立即告訴他"按這個按鈕，按那個按鈕"。"大多數人沒有意識到他們可以拍照片，讓AI解釋這個東西，解釋這個任務。"
更複雜的應用包括：上傳難懂的文本（比如量子力學論文），要求AI"像對12歲孩子一樣解釋給我聽"。AI會用簡單的語言解釋。然後你可以說"好，我理解了。現在像對18歲的人解釋"，再到"像對大學畢業生解釋"。"它會逐步深入這些解釋。你的提問能力、學習範圍和能力範圍都已經大大擴展了，但你還沒有完全意識到。所以要經常想：我能用它試試這個嗎？"
霍夫曼分享了一個關於AI局限性的重要例子：他向朋友Atul Gawande（著名外科醫生和作家，正在寫新書）展示深度研究功能。Gawande得到報告後驚嘆："天哪，這太棒了。"但當他把報告發給研究助理核查時，助理發現"90%是錯誤的。他們引用的那句話不存在。它產生了幻覺。在試圖達到如此具體的要求時，它開始編造東西。"
AI的"幻覺"指的是它生成看似合理但實際上不準確或完全虛構的資訊。這是當前大語言模型的一個已知問題。
然而，研究助理補充說："但這裡有個驚喜：它指向的領域中，確實有其他完全正確和有用的材料。所以實際上，雖然它給出的具體內容是幻覺，不能用在書中，但它指引的方向讓我的搜索效率大大提高。"
對於職業發展，霍夫曼強調："未來十年最重要的高階能力是：你使用這個工具的能力如何？"這就像"你如何使用網際網路進行研究"對各種專業人士都很重要一樣。"如果你是柏拉圖學者，你應該使用AI工具來增強你的研究。這不是說你現在可以像《蠢蛋進化論》（一部諷刺電影，描繪了一個智力退化的未來社會）里那樣坐著吃糖果喝運動飲料，讓AI告訴你所有柏拉圖學術。我們離那還很遠。但作為對話工具，它能幫助你更深入地理解。"
當被問及什麼技能可能變得不那麼重要時，霍夫曼特別提到法學院："如果你現在去法學院，可能不是個好時機，因為他們還在用舊方法教學，而不是新方法。"但他強調，法學院仍然重要，只是未來的法學院將教授"我們都將在法律工作中使用AI代理"的新方法。
關於AI是否會完全取代人類工作，霍夫曼提到了AI西洋棋的兩個重要時刻：第一個是AI擊敗人類大師，但之後"人馬合一"團隊（人類加AI）仍然能擊敗純AI；第二個是任何人類干預都只會成為AI負擔的時刻。」人們應該擔心的是第二個時刻，因為這意味著不再需要有人類參與決策行動。」
但霍夫曼認為在工作領域，我們離這個時刻還很遠："技術專家和AI指數主義者認為這會很快到來，但我認為不會。因為雖然AI在提高能力，但這不意味著沒有我們能很好融入的地方。"
他舉了放射科醫生的例子："即使今天，如果問我是要一個普通放射科醫生還是訓練過的AI讀我的X光片？我會選AI。但我更願意兩者結合。"只有當"人類再也無法與AI在這方面合作，而AI獨自工作更好"時，才會出現完全替代。"客戶服務可能是最快被取代的領域之一。不過對於這個場景，人們會說，'好吧，那不是問題，取代就取代吧。』」
但如果真的到了所有工作都被取代的地步，"我們會有其他問題要擔心。這就回到了我說的中世紀貴族的經歷——也許我們會生活在星際迷航的世界裡，一切都由機器人基礎設施提供，我們真正關注的是詩歌、晚宴、沙龍……這不是最糟糕的結果。"
最後，當被問及當前的AI架構是否能通過規模化（scaling law）達到那個世界時，霍夫曼表示："規模將是至關重要的。我認為OpenAI團隊——Sam（Altman）、Greg（Brockman）、Ilya（Sutskever）、Dario（Amodei）等人——發現了規模真的很重要，他們是對的。"
但他也認為仍然需要架構創新："一旦你認為只需要一種（架構）創新（如Transformer架構），實際上總是需要'一個以上』——因為你不知道那是一個還是一千個。"他提醒我們不要過於樂觀：我們看到技術早期快速發展時，往往會錯誤地認為這種增長會一直持續。人們會說'看，AI越來越聰明了'，但實際上我們看到的可能只是某些具體能力的提升，而不是真正的智能全面提升。"
也就是說，當人們看到AI能力快速提升（比如從GPT-2到GPT-3到GPT-4），往往會認為這種指數級增長會一直持續下去，最終很快達到人類級別的通用智能。這就是所謂的"在曲線的早期階段過於指數化思考"。
不過，AI在語言處理、圖像識別等具體任務上的進步，可能並不等於它在通用智能上也有同樣的進步。就像一個人可能計算能力很強，但這不代表他在所有智力方面都很強。
霍夫曼還聽到一個有趣的觀點：在這波AI浪潮中，人文學科背景的人可能比工程師更有優勢。"原因是，工程師並沒有更好地理解AI內部發生了什麼，因為它是黑箱性質的。所以很多優勢來自提示工程和與文本的互動。"他部分同意這個觀點："工程仍然非常重要。但實際上，當我們思考AI如何提升人類時，人文學科的東西確實非常重要。什麼是代理？什麼是提升？這些代理如何融入？我認為這是人文學科在創造我們AI未來中重要性的回歸。"
