2024年諾貝爾物理學獎首次授予人工智慧領域的領軍科學家，人工智慧應用於科學研究被提到更加重要的位置。至頂智庫將從2024年諾貝爾物理學獎說起，進而展現全球人工智慧傑出科學家Geoffrey Hinton的傳奇人生。
圖片來源：https://x.com/NobelPrize/status/1843589140455272810
約翰·霍普菲爾德 (John Hopfield)和傑弗里·辛頓（Geoffrey Hinton）因其在神經網路領域的開創性貢獻榮獲2024年諾貝爾物理學獎。2024年12月8日，在瑞典斯德哥爾摩的頒獎典禮上，被稱為"人工智慧之父"的Geoffrey Hinton講述Hopfield網路和玻爾茲曼機的原理與發展。至頂智庫將Geoffrey Hinton演講的主要內容總結如下：
霍普菲爾德網路（Hopfield Network）
霍普菲爾德網路使用二進制神經元，這些神經元的狀態為1或0。右邊可以看到一個霍普菲爾德網路，這些神經元之間有對稱的加權連接。整個網路的全局狀態被稱為一個「構型」（configuration）。每個構型都有一個「優度」（goodness），構型的優度就是所有「同時開啟」的神經元對之間權重的總和。把紅色框中的權重加起來是 4，這就是該網路構型的優度。而「能量」（energy）就是優度的負數。這些網路會穩定到能量的最小值。圖片來源：Geoffrey Hinton – Nobel Prize lecture. NobelPrize.org. Nobel Prize Outreach AB 2024. Tue. 17 Dec 2024.
霍普菲爾德網路的關鍵在於，每個神經元都可以局部地計算出需要做什麼來降低能量。「能量」可以理解為「壞度」（Badness）。如果來自其他激活神經元的總加權輸入為正，則該神經元應該開啟；如果為負，則應該關閉。如果每個神經元都持續使用這個規則，並且隨機選擇神經元並不斷應用這個規則，網路最終會穩定到一個能量最小值。
右邊的構型實際上是能量最小值，其能量為-4。如果選擇其中任何一個神經元，在得到總的正輸入情況下，開啟的神經元會傾向於保持開啟；在得到總的負輸入情況下，關閉的神經元會傾向於保持關閉。一個霍普菲爾德網路可以有許多能量最小值，最終穩定在哪個狀態取決於起始狀態，也取決於做出隨機決定的順序，也就是更新哪個神經元的順序。現在這個構型是一個更好的能量最小值，打開右邊三角形的神經元，優度是 3 3 - 1 = 5，所以能量是 -5，這是一個更好的最小值。
圖片來源：Geoffrey Hinton – Nobel Prize lecture. NobelPrize.org. Nobel Prize Outreach AB 2024. Tue. 17 Dec 2024.
通過使用關於神經元是否應該開啟或關閉的二進制決策規則，可以「清理」不完整的記憶。從一個部分記憶開始，然後不斷應用這個決策規則就會把記憶補全。穩定到能量最小值是一種內容尋址記憶（Content Addressable Memory）的方式。可以通過激活記憶中的一部分來訪問整個記憶，然後使用這個規則，會把記憶補全。
引入隨機性解決搜索問題
搜索問題：通過使神經元具有「噪聲」來解決。如果有像標準霍普菲爾德網路那樣的確定性神經元，如果系統穩定到一個能量最小值，比如 A 點——那裡的球代表整個系統的狀態，也就是整個系統的構型—無法從 A 點到達 B 點，因為神經元的決策規則只允許能量下降。右邊的圖表是決策規則：如果輸入為正，則開啟；如果輸入為負，則關閉。希望能夠從A點到達B點，但這意味著必須在能量上「爬坡」。解決這個問題的方法是使用帶有噪聲的神經元，也就是隨機二進制神經元（stochastic binary neurons）。仍然只有二進制狀態，狀態要麼是 1，要麼是 0。
圖片來源：Geoffrey Hinton– Nobel Prize lecture. NobelPrize.org. Nobel Prize Outreach AB 2024. Tue. 17 Dec 2024.
如果得到一個很大的正輸入，幾乎總是開啟；如果得到一個很大的負輸入，幾乎總是關閉。但如果輸入是「軟性」的，如果接近於 0，那麼行為就是概率性的。如果輸入是正的，通常會開啟，但偶爾也會關閉；如果輸入是小的負值，通常會關閉，但偶爾也會開啟。但沒有實數值，始終是二進制的，如果想用這些隱藏神經元來解釋二進制圖像，需要將二進制圖像固定在可見單元上。將二進制圖像「固定」（clamp）在可見單元上，這指定了輸入內容。然後我們隨機選擇一個隱藏神經元，查看它從其他激活的隱藏神經元獲得的總輸入——把它們都初始化為隨機狀態—如果獲得總的正輸入，我們很可能會開啟它，但也可能關閉它，尤其當正輸入很小的時候。我們持續執行這個規則：如果輸入為大的正值則開啟，如果輸入為大的負值則關閉，如果是「軟性」的輸入則做出概率性的決策。如果我們持續這樣做，並持續隨機選擇隱藏神經元，系統最終會達到所謂的「熱平衡」（thermal equilibrium）。一旦達到熱平衡，隱藏神經元的狀態就是對輸入的一種解釋。
玻爾茲曼機（Boltzmann Machine）
玻爾茲曼機包含「清醒」階段和「睡眠」階段。
「清醒」階段（wake phase）：網路接收圖像的階段。將一個圖像「固定」在可見神經元上，讓隱藏神經元來回「震盪」並穩定到熱平衡。然後，一旦隱藏神經元與可見神經元達到熱平衡，對於每一對相連的神經元——要麼是兩個隱藏神經元，要麼是一個可見神經元和一個隱藏神經元——如果都處於開啟狀態，就給神經元之間的權重增加一個小量。
「睡眠」階段（sleep phase）：如果只運行「清醒」階段，權重只會越來越大，很快就都會變成正值，所有的神經元都會一直開啟。你需要將「清醒」階段與「睡眠」階段結合起來。在「睡眠」階段，可以把網路想像成在做夢，通過更新所有神經元（隱藏和可見）的狀態來達到熱平衡。一旦達到熱平衡，對於每一對相連的神經元，如果都處於開啟狀態，就從神經元之間的權重中減去一個小量。
受限玻爾茲曼機（Restricted Boltzmann Machine，RBM）及應用
圖片來源：Geoffrey Hinton – Nobel Prize lecture. NobelPrize.org. Nobel Prize Outreach AB 2024. Tue. 17 Dec 2024.
如果對玻爾茲曼機進行限制，就可以得到更快的學習算法。如果隱藏神經元之間沒有連接，那麼「清醒」階段就變得非常簡單。將輸入固定在可見神經元上來表示圖像，然後並行地更新所有隱藏神經元，這樣就可以達到熱平衡狀態。這樣你就已經達到熱平衡了。只需要用很短的路徑更新一次，就可以很快達到熱平衡。這對隱藏神經元來說很好，但在「睡眠」階段仍然有問題。將網路置於某種隨機狀態，不斷更新隱藏神經元和可見神經元，持續很長時間才能達到熱平衡。目前存在一個快捷方法：將數據放在可見單元，然後並行更新所有隱藏神經元，之後達到熱平衡狀態。現在你更新所有的可見單元，稱之為「重構」（reconstruction）。當網路展示重構並且已經與重構達到平衡時，測量同時開啟的頻率，這兩者之間的差異就是學習算法，之後只需要根據差異來按比例改變權重。這種做法的實際效果相當好，速度很快，快到足以使玻爾茲曼機變得更加實用。
Netflix推薦系統：Netflix實際上使用受限玻爾茲曼機，並結合其他方法，根據所有與你類似的其他用戶喜好，決定向你推薦哪些新電影。這種玻爾茲曼機和其他方法的組合達到預期效果。
接下來，回顧下2024年10月諾獎委員會發布諾貝爾物理學獎提到的相關內容：
赫布定律（Hebbian theory）：20世紀40年代，研究人員已開始探索大腦神經元和突觸網路背後的數學原理。心理學領域也為這一領域提供重要線索，神經科學家Donald Hebb指出，學習之所以發生，是因為當神經元共同工作時，之間的連接得到加強。科學家循著這樣的想法，通過電腦模擬構建人工神經網路，從而重現大腦網路的功能。在這些模擬中，節點構成大腦的神經元，每個節點被賦予不同的值，而突觸則由節點之間的連接表示，赫布定律至今仍作為更新人工神經網路的基本規則之一。
圖片來源：https://x.com/NobelPrize/status/1843597151848272258
霍普菲爾德網路（Hopfield Network）：Hopfield網路聯想記憶通過所有節點彼此相連來構建，資訊可以從所有節點輸入和讀取。
玻爾茲曼機（Boltzmann Machine）：玻爾茲曼機由兩個部分構建，一種節點接受資訊，被稱為可見節點；另一種節點構成隱藏層，隱藏節點的值及其連接也會影響整個網路的能量。機器通過逐一更新節點值的規則運行。最終，玻爾茲曼機將進入這樣一種狀態：節點的模式可以變化，但網路的整體性質保持不變。
受限玻爾茲曼機（Restricted Boltzmann Machine，RBM）：受限玻爾茲曼機在同一層的節點不會相互連接。機器通常是一個接一個地串聯使用。在訓練完一台機器後，隱藏節點的內容會用於訓練下一台機器。
圖片來源：https://x.com/NobelPrize/status/1843589599215370484
Geoffrey Hinton傳奇人生
傑弗里·辛頓（Geoffrey Hinton），1947年出生於英國溫布爾登，2018年圖靈獎得主，英國皇家學會院士，加拿大皇家學會院士，美國國家科學院外籍院士，多倫多大學名譽教授。辛頓於1970年獲得劍橋大學（University of Cambridge）實驗心理學學士學位，於1978年獲得愛丁堡大學（University of Edinburgh）人工智慧博士學位。20世紀80年代，辛頓將反向傳播（Backpropagation）算法引入多層神經網路訓練做出重要貢獻，並發明「玻爾茲曼機」。Geoffrey Hinton與Yoshua Bengio和Yann LeCun並稱為「深度學習三巨頭」，並共同獲得2018年圖靈獎（Turing Award）。
辛頓出生於學術世家，他是19世紀英國數學家和哲學家喬治•布爾（George Boole）和19世紀書寫美國歷史的外科醫生詹姆士•辛頓（James Hinton）的玄孫。喬治•布爾提出的「布爾邏輯」（是一種使用布爾運算符連接各個檢索詞，然後由電腦進行相應邏輯運算，以找出所需資訊的方法）為現代電腦提供了數學基礎。辛頓的堂姐核物理學家瓊安•辛頓（Joan Hinton）是「曼哈頓計劃」（Manhattan Project，20世紀40年代美國為製造原子彈而實施的一項秘密軍事工程）中為數不多的女性成員之一。其父親是英國皇家學會會員、昆蟲學家霍華德•埃佛勒斯•辛頓（Howard Everest Hinton）。
Geoffrey Hinton家族
在辛頓十幾歲的時候，他對大腦的研究產生了興趣。進入劍橋大學國王學院（King's College, Cambridge）學習後，辛頓很快意識到當時的科學家對大腦的了解並沒有他先前認為的那樣超前。科學家了解大腦的某些部分，但他們對所有這些部分如何結合併最終提供視覺、聽覺、記憶和學習思考的能力知之甚少。辛頓嘗試過研究生理學、化學、物理學和心理學，但是都找不到想要的答案。直到畢業後的那一年，辛頓閱讀了加拿大心理學家唐納·赫布（Donald Hebb）的《行為組織》(The Organization Of Behavior)一書，該書解釋了讓大腦進行學習的基本生物過程。赫布認為，學習是沿著一系列神經元發射微小電信號的結果，這些電信號引起了物理變化，以一種新的方式將這些神經元連接在一起。受此書啟發，每周辛頓都會在赫布想法提出的基礎上去補充關於大腦工作的見解，這些內容恰好與英國政府對人工智慧的第一波投資和愛丁堡大學研究生項目的興起相吻合。
赫布（Donald Hebb）與《行為組織》
辛頓畢業後，先是在倫敦做了一年木匠，之後在父親任教的布里斯托大學（University of Bristol）接受了一份心理學方面的短期工作，並以此為跳板進入愛丁堡大學（The University of Edinburgh）的人工智慧項目。在愛丁堡大學期間，辛頓在一間實驗室里贏得一個學習機會，這間實驗室由研究員克里斯多福·郎吉特-希金斯(Christopher Longest-Higgins)負責。他提出的連接主義（Connectionism）方法與辛頓在伊斯靈頓圖書館（Islington Central Library）記錄在筆記本中的理論相吻合。此時的辛頓在電腦科學方面幾乎沒有經驗，對數學也不感興趣，但是他對於大腦如何工作以及機器如何模仿大腦有著明確的信念。
在辛頓進入愛丁堡大學的第一年，即1971年，英國政府進行一項關於人工智慧進展的研究。報告稱，「迄今為止，在該領域任何地方取得的成果都沒有實現當初承諾的重大影響。」因此，英國政府對該領域的資金投入被削減，該領域迎來「人工智慧的寒冬」，以至於到辛頓完成其論文時，他的研究已經處於不斷縮小的邊緣。完成論文後，辛頓尋找工作的過程也十分艱難—只有一所大學為他提供了面試機會。於是辛頓放眼國外，發現美國的人工智慧研究也在減少，因為美國政府也得出與英國相同的結論，並因此減少對大學的資助。
在美國加利福尼亞州南部，辛頓發現了和他一樣對人工智慧發展感到樂觀的人，他們被稱為PDP小組。PDP是「並行分布式處理」（parallel distributed processing）的縮寫，是「感知機」「神經網路」或「連接主義」的另一種說法。這個小組裡有加州大學聖迭戈分校（University of California, San Diego）心理學系的幾位學者，以及神經科學家弗朗西斯·克里克（Francis Crick），此人因為發現了DNA（脫氧核糖核酸）分子結構而獲得諾貝爾獎。在PDP小組中，戴維·魯梅爾哈特（David Rumelhart）教授是核心成員之一，他致力於打造一個多層的神經網路。然而確定每個神經元對整體計算的相對重要性（權重）是一個需要攻克的難題。此時尋找將每個權重的設定與其他權重結合的途徑成為必要。魯梅爾哈特認為這個途徑是一個叫「反向傳播（Backpropagation）」的過程，本質上是一種基於微分的算法，當神經元能夠分析更多數據並更好的理解每個權重含義就會發送一種數學反饋，沿著神經元的層次結構向下傳遞。
PDP小組核心成員
在隨後的幾年裡，辛頓與特里·謝諾夫斯基（普林斯頓大學生物系博士後）建立合作關係，他們通過第二個連接主義者小組會面，這個小組每年在全美各地召開一次會議，討論的話題如玻爾茲曼機以及反向傳播等。而辛頓這種對邊緣想法的重視也給他帶來了新的工作機會。史考特·法爾曼（Scott Fahlman）與辛頓和謝諾夫斯基一起參加了年度連接主義者大會，法爾曼開始認識到招募辛頓可以成為該大學對沖其在人工智慧領域押注的一種方式。1981年，在法爾曼的保薦下，辛頓去卡內基梅隆大學面試，並做了兩場講座：一場在心理學系，一場在電腦科學系。他在講座中並沒有刻意強調數學和電腦科學，而是更多的鼓勵想法，這讓那些有興趣並且能跟上他思路的人感到莫名的興奮。在卡內基梅隆大學（Carnegie Mellon University）辛頓接觸到一台 Lisp 機器，從而開始編寫程序。在卡耐基梅隆大學工作6年後，辛頓和妻子離開美國前往加拿大。1987年，辛頓被任命為加拿大高等研究院（Canadian Institute for Advanced Research, CIFAR）的研究員，參與其首個研究項目 「人工智慧、機器人與社會（Artificial Intelligence, Robotics & Society）」。1987年至今，辛頓在多倫多大學（University of Toronto）任電腦科學系教授。
2004 年，辛頓及其合作者成功提議在 CIFAR 啟動新項目—神經計算與自適應感知（Neural Computation and Adaptive Perception,NCAP），辛頓領導該項目長達十年。2007年，辛頓與他人合作共同撰寫題為《圖像變換的無監督學習》（Unsupervised learning of image transformations）論文。2008年，辛頓與蘿倫斯?范德馬滕（Laurens van der Maaten）共同開發可視化方法 t - SNE。
OpenAI前首席科學家、聯合創始人伊爾亞·蘇茨克維（Ilya Sutskever）就曾師從辛頓，他仍記得2000年前後在辛頓的實驗室工作的時光。當時還是人工智慧的「冬季」，辛頓的實驗室只有10個學生，該領域的工作和資金都很匱乏，來自行業的資助也少得可憐。然而，就像辛頓堅信自己的研究終有用武之地一樣，這群「局外人」堅信自己有一種罕見的洞察力，堅信自己是與眾不同的破局者。2012年，Ilya Sutskever與辛頓在ImageNet競賽中首次引入深度卷積神經網路（AlexNet），標誌著深度學習在圖像分類領域實現重大突破。
圖片來源：https://www.wired.com/2013/03/google-hinton/
2013年3月，在辛頓的公司DNNresearch Inc.被谷歌Google收購後，辛頓正式加入谷歌，繼續進行AI研究。2015年，深度學習三巨頭Yann LeCun、Yoshua Bengio、Geoffrey Hinton在Nature上共同發表一篇名為Deep Learning的綜述文章，講述深度學習為傳統機器學習帶來的變革。
圖片來源：https://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf
辛頓在2017年和兩位谷歌工程師取得研究突破—「膠囊神經網路」（Capsule neural networks），與傳統卷積神經網路（CNN）相比，膠囊神經網路在處理圖像識別任務時，能夠更好地捕捉物體的空間關係和姿態資訊。核心思想是使用膠囊來表示圖像中的不同部分，每個膠囊可以包含多個神經元，並且能夠學習到物體的特定屬性，如位置、大小、方向等），在業界再次引起轟動。2022 年，在神經資訊處理系統會議（NeurIPS）上，辛頓介紹名為「前向-前向」 算法（Forward-Forward，該算法的思路是用兩次前向傳遞過程替代傳統反向傳播的前向-後向傳遞過程，一次使用正（即真實）數據，另一次使用可由網路單獨生成的負數據）的神經網路算法。2023 年5月，辛頓從谷歌辭職。同年10月，辛頓加入VayuRobotics顧問委員會，加入該委員會的原因是「將人工智慧用於機器人技術的巨大潛力，特別是在機器學習和視覺傳感器的協同工程方面」。
圖片來源：https://x.com/geoffreyhinton/status/17121715996364351052024年10月，辛頓（Geoffrey Hinton）與約翰?霍普菲爾德（John Hopfield）由於「使機器學習能夠利用人工神經網路所做出的開創性貢獻」共同被授予諾貝爾物理學獎（The Nobel Prize in Physics）。
Geoffrey Hinton十大經典文獻
圖片來源：根據Google Scholar選取Geoffrey Hinton十大經典文獻，根據文獻被引次數進行排序，至頂智庫整理繪製
參考資料：
[1]凱德•梅茨（Cade Metz）.深度學習革命.北京：中信出版集團，2023-1.
[2]Geoffrey Hinton – Nobel Prize lecture. NobelPrize.org. Nobel Prize Outreach AB 2024. Tue. 17 Dec 2024.
[3]https://en.wikipedia.org/wiki/Geoffrey_Hinton
[4]https://discover.research.utoronto.ca/26059-geoffrey-e-hinton
[5]How Canada has emerged as a leader in artificial intelligence. University Affairs,2017-12.
[6]Geoffrey Hinton Biography. CIFAR.
[7]Geoffrey E Hinton-A.M.Turing Award Laureate. amturing.acm.org.
[8]CIFAR - Learning in Machines & Brains. CIFAR.
[9]U of T neural networks start-up acquired by Google. Toronto, ON. 2013-3.
[10]https://www.cs.toronto.edu/~hinton/absps/NatureDeepReview.pdf
[11]Svabour, Sara; Frosst, Nicholas; Hinton, Geoffrey E. Dynamic Routing Between Capsules.2017.
[12]https://www.vayurobotics.com/press-releases/godfather-of-ai-geoffrey-hinton-joins-vayu-robotics-advisory-board.
