宅中地 - 每日更新
宅中地 - 每日更新

贊助商廣告

X

學習機器學習的語言

2026年11月17日 首頁 » 熱門科技

當在高風險場景中部署深度學習模型學習機器學習的語言時,研究人員希望理解它們的工作原理。如今,這需要解開一個極其複雜的內部處理節點網路,才能了解模型知道什麼,以及它在實踐中可能會有怎樣的表現。

雅各布·安德烈亞斯(Jacob Andreas)則希望讓模型自己解釋自己。

這位剛獲得終身教職的副教授致力於開發技術,使人工智慧模型能夠用人類可以理解的語言,準確地表達它們從訓練數據中學到的內容。

「與其需要使用所有這些外部工具來試圖理解幕後發生了什麼,也許我們可以訓練模型以一種準確的方式談論自己,」安德烈亞斯說道,他是電氣工程與電腦科學系(EECS)的副教授,也是電腦科學與人工智慧實驗室(CSAIL)的成員。

通過研究機器如何理解語言,安德烈亞斯和他的團隊致力於構建能夠從人類指導中學習世界知識,並與人類協作者進行有效溝通的智能系統。他們開發的方法旨在使訓練過程更加自然高效,從而讓AI模型以更接近人類學習的方式進行學習。

「我試圖讓學生們明白,真正深入理解這些技術背後的運作原理,是他們理解這一切的唯一途徑,也是在一個人人都能使用編程智能體的世界裡,讓他們脫穎而出的關鍵,」安德烈亞斯說。

歸根結底,他和團隊希望幫助人們設計出更準確、更穩健的深度學習模型,使其更適合預期的應用場景。

「過去我們調試系統的方法,是查看其參數並判斷是否合理。而現在,我們需要『讀心工具』,將這種極其複雜的神經計算轉化為我們能理解的東西,因為它根本不是我們人類所知道的語言,」他說。

對語言的熱愛

安德烈亞斯對語言的痴迷在很小的時候就已萌芽。作為在舊金山灣區長大的孩子,他是個如饑似渴的閱讀者,什麼書都讀。

其中一本由家庭朋友轉贈給他的書中,有一個關鍵情節:主人公通過入侵電腦系統來拯救危局。

這激發了他對電腦的興趣。幾年後,他的父親帶回家一台簡單的BASIC編程機,安德烈亞斯可以在家用電腦上運行它,從此他開始沉浸在電腦編程的世界中。

在哥倫比亞大學讀本科時,安德烈亞斯選擇了電腦科學專業,但當時他並不確定自己想從事研究、軟體工程,還是創業。

他的朋友們都報名參加了教授實驗室的研究項目,於是安德烈亞斯想,自己也該試試。

「我幾乎給電腦科學系所有做任何與AI沾邊研究的老師都群發了郵件,結果自然語言處理方向的教授最先回復了我。這就是我進入目前這個領域的原因,」他說。

在哥倫比亞大學電腦科學維克拉姆·潘迪特講席教授麥可·柯林斯(Michael Collins)的實驗室工作期間,安德烈亞斯完成了一篇關於機器翻譯的本科畢業論文。他的項目涉及將現有的、用於表示語言含義的統計技術,適配到更強大的AI系統中,以翻譯整段文本。

「我總覺得,關于思維運作方式或世界建模的這些更深層次的問題,在語言處理問題中比在當時AI研究者從事的其他任務中更接近表面,」他回憶道。

一次劇變

他想繼續探索這些深層次的問題,於是安德烈亞斯進入加州大學伯克利分校讀研究生,立志成為一名學術研究者。

在開始博士學業之前,他在英國劍橋大學花了一年時間攻讀碩士學位。在那個歷史悠久的環境中,他在處理計算翻譯問題的同時,受到啟發去思考語言學習的本質。

這些學習經歷在他加入伯克利分校電腦科學教授丹·克萊因(Dan Klein)的實驗室後,為他的研究注入了動力。

安德烈亞斯開始他的研究時,正值神經網路開始嶄露頭角之際。自然語言處理領域正經歷一場從統計方法向深度學習這個新世界的劇烈轉變。

統計方法利用透明的數學公式來分析文本,而深度學習技術則使用不透明的算法,從海量文本數據中自動學習複雜的含義。

「能在我們轉向現代工具包的過程中親身經歷,並在這些東西還很新穎時學習和發明它們,是件很有趣的事,」安德烈亞斯說。

他開始與電腦視覺實驗室的科學家們合作,攻克關於語言學習的日益複雜的問題。他們共同設計了AI系統,通過教這些系統「看」並理解周圍的世界,使其在生成自然語言方面表現出色。

「這一切都非常令人興奮,因為此前確實沒有一套通用的工具可以同時處理語言和視覺數據。然後,突然之間,神經網路給了我們這種共同的語言,」他回憶道。

他完成了一篇關於神經模組網路使用的畢業論文,這些模組是神經網路中的小片段,在一個更大的AI系統中執行特定任務,比如定位物體或邏輯推理。但正是他在論文之外涉獵的那些更具探索性的項目——比如可解釋性研究,以及為AI模型的內部狀態生成自然語言描述——塑造了他在麻省理工學院團隊的研究方向。

教職生涯

在初創公司Semantic Machines(從他在伯克利的實驗室孵化而來)工作一年後,安德烈亞斯於2019年加入麻省理工學院教職團隊。

「這感覺像是一個絕佳的機會,能夠身處AI研究的大本營,與所有這些了不起的、功成名就的人物合作,同時也能做一些新的事情,去探索現代機器學習時代將會是什麼樣子,」他說。

他的團隊專注於兩個主要方向。首先,他們正在研究大語言模型的科學原理,以理解這些模型在學習和處理資訊時所採用的算法。

他們開發的工具有助於科學家和研究人員更好地預測訓練完成的模型在現實世界中的表現。例如,他們開發的一類技術可以訓練大語言模型,用人類能夠理解的語言,解釋其他神經網路內部正在發生的事情。

這些技術可以為龐大神經網路中的每一個資訊處理節點賦予自然語言描述。例如,這樣一個描述可能代表一個識別輸入圖像中「動物附近草地」的單獨節點。

「這項工作成為我們探討這些模型如何表示含義等一系列更高層次問題的跳板,」他說。

另一方面,他的團隊設計新的算法來訓練機器學習模型,並預測特定數據集或樣本將如何影響模型行為的不同方面。

「我們目前還沒有一個好的科學理論,能夠預測當你用某個特定數據集訓練一個模型時會發生什麼。這是該領域目前面臨的一大挑戰,」他說。

變化中的環境

AI發展的速度是他的實驗室面臨的最大挑戰之一。安德烈亞斯說,這個領域似乎每三到五年就會發生徹底的變化,迫使他必須保持敏捷,隨時準備學習新事物。

同樣的困境也延續到了他與同事共同講授的6.461和6.861課程(大學生和研究生自然語言處理課程)中。他和其他授課教師每年都必須重新設計課程內容,以跟上最新的發展。

在這樣一個任何作業都可能由大語言模型而非人類學生完成的時代,教授機器學習的技術細節也變得充滿挑戰。

「我試圖讓學生們明白,真正深入理解這些技術背後的運作原理,是他們理解這一切的唯一途徑,也是在一個人人都能使用編程智能體的世界裡,讓他們脫穎而出的關鍵,」他說。

由於變化如此之大,很難預測這個領域接下來會走向何方,安德烈亞斯說。他預見,他的團隊在可解釋性方面的工作,將對於讓AI智能體等先進系統足夠安全地部署到高風險場景中變得愈發重要。

這一點在研究人員設計能夠助力科學發現的深度學習模型時將尤為明顯。這些模型將在來自研究實驗室的大量原始數據上進行訓練,而這些數據可能目前科學家們尚未完全理解。

「弄清楚如何讓這些模型把它們所擁有的、人們從未明確書寫過的隱藏知識用語言表達出來,將是從事機器學習工作的人們面臨的巨大挑戰和機遇,」他說。

除了在實驗室里應對挑戰,安德烈亞斯還喜歡挑戰自我,進行徒步和背包旅行。自加州童年時代起,他就熱愛在戶外度過時光,每年夏天至少會進行一到兩次背包旅行。

他和數學系的一位同事正在努力征服新罕布希爾州白山山脈中所有海拔4000英尺以上的山峰,進展雖慢但穩步推進。

如今獲得了終身教職,安德烈亞斯期待著重拾一項舊愛好——在室內合唱團中唱歌。他一直熱愛音樂,在劍橋大學求學期間,他深深迷上了禮拜堂唱詩班和敲鐘活動。

宅中地 - Facebook 分享 宅中地 - Twitter 分享 宅中地 - Whatsapp 分享 宅中地 - Line 分享
相關內容
Copyright ©2026 | 服務條款 | DMCA | 聯絡我們
宅中地 - 每日更新