宅中地 - 每日更新
宅中地 - 每日更新

贊助商廣告

X

AI術語速查:從大語言模型到不透明循環

2026年09月08日 首頁 » 熱門科技

AI正在重塑世界,同時也在發明一整套全新的詞彙來描述這一過程。如今參加任何產品會議、路演或專題討論,你都會聽到人們頻繁提及大語言模型、RAG、RLHF——以及上周才出現的"不透明循環"(opaque recurrence),這是OpenAI新款Astra模型中讓AI安全研究人員感到不安的推理技術。這些詞彙更新的速度之快,足以讓科技圈裡非常聰明的人也感到有點吃力。

這份術語表就是為了解決這個問題:用通俗易懂的語言解釋你最可能遇到的AI術語,無論你是在用這些技術構建產品、進行投資,還是只是想跟上行業步伐。我們會隨著領域的發展定期更新,所以可以把它當作一份持續演進的文檔,就像它所描述的AI系統一樣。

通用人工智慧(AGIAI術語速查從大語言模型到不透明循環

通用人工智慧,即AGI,是一個模糊的概念。但它通常指的是在多數(甚至絕大多數)任務上比普通人類更有能力的AI。OpenAI首席執行官山姆·阿特曼曾將AGI描述為"相當於一個可以雇來當同事的中等水平人類"。而OpenAI的章程將AGI定義為"在大多數具有經濟價值的工作中表現優於人類的高度自主系統"。谷歌DeepMind的理解與這兩種定義略有不同;該實驗室認為AGI是"在大多數認知任務上至少與人類能力相當的AI"。感到困惑?別擔心——站在AI研究前沿的專家們同樣如此。

AI智能體

AI智能體是指利用AI技術代表用戶執行一系列任務的工具——超越了普通AI聊天機器人的能力範疇——比如報銷費用、訂票或預訂餐廳座位,甚至編寫和維護代碼。不過正如我們之前解釋過的,這個新興領域涉及許多活動部件,因此"AI智能體"對不同的人可能意味著不同的事情。相關基礎設施也仍在建設中,以實現其設想的能力。但其基本概念暗示的是一種自主系統,它可能會調用多個AI系統來完成多步驟任務。

API端點

可以把API端點想像成軟體背後的"按鈕",其他程序可以按下這些按鈕讓它執行操作。開發者利用這些接口構建集成——例如,讓一個應用程式從另一個應用程式中提取數據,或者讓AI智能體直接控制第三方服務,而無需人工逐一手動操作每個界面。大多數智能家居設備和聯網平台都有這些隱藏的按鈕,儘管普通用戶從未看到或與之交互。隨著AI智能體能力不斷增強,它們越來越能夠自行發現並使用這些端點,這為自動化開闢了強大——有時也出人意料的——可能性。

思維鏈(Chain of thought)

面對簡單的問題,人腦幾乎不需要思考就能作答——比如"長頸鹿和貓哪個更高?"但在許多情況下,你往往需要紙筆才能得出正確答案,因為其中存在中間步驟。例如,如果一個農場主養了雞和牛,它們總共有40個頭和120條腿,你可能需要寫下一個簡單的方程才能算出答案(20隻雞和20頭牛)。

在AI語境中,大語言模型的思維鏈推理是指將一個問題分解為更小的中間步驟,以提高最終結果的質量。這通常需要更長時間才能得出答案,但答案更有可能正確,尤其是在邏輯或編程場景中。推理模型是在傳統大語言模型基礎上開發的,並通過強化學習針對思維鏈思考進行了優化。

(參見:大語言模型)

編程智能體

這是比"AI智能體"更具體的概念,指能夠自主採取步驟逐步完成目標的程序。編程智能體是應用於軟體開發的專門版本。它不只是簡單地建議代碼讓人類審查和粘貼,而是能夠自主編寫、測試和調試代碼,處理通常占用開發者大量時間的疊代性試錯工作。這些智能體可以在整個代碼庫中運作,發現漏洞、運行測試、推送修復,幾乎不需要人工監督。可以把它想像成僱傭了一個從不睡覺、從不分心的超快實習生——不過和任何實習生一樣,人類仍需審查其工作成果。

算力(Compute)

儘管這是一個含義較為多元的術語,但算力通常指的是讓AI模型得以運行的關鍵計算能力。這類處理能力驅動著整個AI行業,賦予其訓練和部署強大模型的能力。這個術語常常是提供計算能力的硬體的簡稱——比如GPU、CPU、TPU以及構成現代AI產業基石的其他各種基礎設施。

深度學習

深度學習是自我改進型機器學習的一個子集,其中AI算法被設計成具有多層的人工神經網路結構。與線性模型或決策樹等更簡單的基於機器學習的系統相比,這使它們能夠建立更複雜的關聯。深度學習算法的結構從人腦神經元的密集互聯通路中汲取了靈感。

深度學習AI模型能夠自行識別數據中的重要特徵,而無需人類工程師定義這些特徵。這種結構還支持算法從錯誤中學習,並通過反覆調整的過程改善自身的輸出。然而,深度學習系統需要大量數據點才能產生良好結果(通常是數百萬甚至更多)。與更簡單的機器學習算法相比,它們的訓練時間通常也更長——因此開發成本往往更高。

(參見:神經網路)

擴散模型(Diffusion)

擴散是許多生成藝術、音樂和文本的AI模型的核心技術。受物理學啟發,擴散系統通過不斷添加噪聲來逐漸"破壞"數據(例如照片、歌曲等)的結構,直到數據完全消失。在物理學中,擴散是自發且不可逆的——溶解在咖啡里的糖無法恢復成方糖形態。但AI中的擴散系統旨在學習一種"逆擴散"過程來還原被破壞的數據,從而獲得從噪聲中恢復數據的能力。

蒸餾(Distillation)

蒸餾是一種通過"教師-學生"模型從大型AI模型中提取知識的技術。開發者向教師模型發送請求並記錄其輸出結果。有時會將答案與數據集進行比對,以檢驗其準確性。這些輸出隨後被用來訓練學生模型,使其學習逼近教師模型的行為。

蒸餾技術可以基於一個大型模型,在蒸餾損失最小的情況下打造出更小、更高效的模型。這很可能就是OpenAI開發GPT-4 Turbo(GPT-4的更快版本)的方式。

雖然所有AI公司內部都會使用蒸餾技術,但也可能有一些AI公司用它來追趕前沿模型。對競爭對手模型進行蒸餾通常違反了AI API和聊天助手的服務條款。

微調(Fine-tuning)

這指的是對AI模型進行進一步訓練,以針對比其先前訓練重點更具體的任務或領域優化性能——通常通過輸入新的、專門化(即面向特定任務)的數據來實現。

許多AI初創公司以大語言模型為起點構建商業產品,但都在爭相通過在早期訓練周期基礎上補充自身特定領域的知識和專長進行微調,來提升對目標行業或任務的實用性。

(參見:大語言模型)

生成對抗網路(GAN)

GAN,即生成對抗網路,是一種機器學習框架,支撐著生成式AI在生成逼真數據方面的一些重要進展——包括(但不限於)深度偽造工具。GAN涉及使用一對神經網路,其中一個網路利用其訓練數據生成輸出,並將其傳遞給另一個模型進行評估。

這兩個模型本質上被設計為相互競爭。生成器試圖讓其輸出矇混過判別器,而判別器則致力於識別人工生成的數據。這種結構化的對抗可以在不需要額外人工干預的情況下,優化AI輸出使其更加逼真。不過GAN更適合較窄的應用場景(例如生成逼真的照片或影片),而非通用型AI。

幻覺(Hallucination)

幻覺是AI行業用來描述模型編造資訊的首選術語——即生成不正確的資訊。顯然,這對AI質量而言是個大問題。

幻覺會產生具有誤導性的生成式AI輸出,甚至可能導致現實生活中的風險——帶來潛在危險的後果(想想一個返回有害醫療建議的健康查詢)。

AI編造資訊的問題被認為是訓練數據存在缺口的結果。幻覺問題正在推動行業朝著日益專業化和/或垂直化的AI模型發展——即需要更窄專業知識的特定領域AI——以此作為減少知識缺口和降低虛假資訊風險的一種方式。

推理(Inference)

推理是運行AI模型的過程。它是讓一個模型根據先前看到的數據進行預測或得出結論。需要明確的是,沒有訓練就沒有推理;模型必須先從一組數據中學習模式,然後才能有效地從這些訓練數據中進行推斷。

許多類型的硬體都能執行推理,從智慧型手機處理器到強勁的GPU,再到定製設計的AI加速器。但並非所有硬體都能同樣出色地運行模型。非常大的模型如果放在筆記本電腦上進行預測,可能需要極長時間,而在配備高端AI晶片的雲伺服器上則要快得多。

(參見:訓練)

大語言模型

大語言模型是ChatGPT、Claude、谷歌Gemini、Meta的AI Llama、微軟Copilot或Mistral的Le Chat等熱門AI助手所使用的AI模型。當你與AI助手聊天時,你實際上是在與一個大語言模型互動,它會直接處理你的請求,或藉助網頁瀏覽、代碼解釋器等各種可用工具來處理。

大語言模型是由數十億個數值參數(或稱權重,見下文)構成的深度神經網路,它們學習詞語和短語之間的關係,並創建一種語言表示形式,即一種多維的詞語地圖。

這些模型是通過對數十億本書籍、文章和文字記錄中發現的模式進行編碼而創建的。當你向大語言模型輸入提示時,模型會生成最符合該提示的最可能模式。

(參見:神經網路)

內存緩存

內存緩存指的是提升推理效率的一個重要過程(推理是AI針對用戶查詢生成響應的過程)。本質上,緩存是一種優化技術,旨在提高推理效率。AI顯然是由高強度的數學計算驅動的,每次進行這些計算都會消耗更多的算力。緩存旨在通過為未來的用戶查詢和操作保存特定計算結果,來減少模型可能需要運行的計算次數。內存緩存有多種類型,其中比較知名的一種是KV(鍵值)緩存。KV緩存適用於基於Transformer的模型,通過減少生成用戶問題答案所需的時間(以及算法工作量),提高效率並加快出結果的速度。

(參見:推理)

模型上下文協議(MCPAI術語速查從大語言模型到不透明循環

模型上下文協議,即MCP,是一種開放標準,讓AI模型能夠連接外部工具和數據——你的文件、資料庫,或Slack、谷歌Drive等應用——而無需開發者為每一對連接單獨構建定製連接器。可以把它想像成AI界的USB-C接口。Anthropic於2024年推出了MCP,隨後將其移交給Linux基金會,此後被OpenAI、谷歌和微軟相繼採用,成為近年來AI領域普及速度最快的標準之一。

混合專家模型(MoE)

混合專家模型是一種模型架構,將神經網路分割成許多更小的專門化子網路,即"專家",並且針對任何給定任務只激活其中一小部分專家。與將每個請求都通過整個模型處理不同(就像每個問題都要召集整個辦公室的人一樣),MoE模型內置了一個"路由器",能為具體任務精準挑選合適的專家。這使得構建規模龐大但運行速度較快、成本相對低廉的模型成為可能,因為在任何時刻只有一部分網路在工作。Mistral AI的Mixtral模型就是一個知名例子;業內普遍認為OpenAI較新的GPT模型也採用了某種版本的這種方法,儘管該公司從未正式確認過這一點。

(參見:神經網路、深度學習)

神經網路

神經網路是指支撐深度學習的多層算法結構——更廣泛地說,也是在大語言模型出現之後,整個生成式AI工具熱潮的基礎。

儘管從人腦密集互聯的神經通路中汲取靈感,將其作為數據處理算法的設計結構這一想法可以追溯到20世紀40年代,但真正釋放這一理論威力的,是近年來通過電子遊戲產業興起的圖形處理硬體(GPU)。這些晶片非常適合訓練層數遠超以往時代的算法——使基於神經網路的AI系統能夠在語音識別、自主導航和藥物發現等諸多領域取得遠勝以往的表現。

(參見:大語言模型)

神經語言(Neuralese)

一種假設中的最壞情況場景,即模型完全用其內部數值表示進行推理,而不使用人類可讀的語言,導致其思維過程完全成為一個黑箱。目前沒有任何已發布的模型達到這種程度——OpenAI表示其Astra模型(於2026年9月發布,因率先使用"不透明循環"推理技術而引人注目)仍然保持思維鏈的可讀性,並反駁了將其與神經語言相提並論的說法。但安全研究人員指出,Astra對不透明循環的使用(定義見下文)是朝這個方向邁出的實質性第一步,這也是為什麼該術語在Astra發布相關報道後急劇升溫的原因。

不透明循環(Opaque recurrence)

不透明循環是指AI模型將同一查詢在其內部層中反覆循環處理,而不是用明白易懂的語言進行逐步推理。這種方式效率更高——較小的模型可以在消耗更少算力的情況下發揮出超出其規模的能力——但留下的可讀痕跡遠少於正常的思維鏈(即你向聊天機器人求助後看到的那種實時講解)。這讓安全研究人員感到擔憂,因為這些日誌是發現異常行為的關鍵工具——而這種技術可能會讓這種監督變得困難得多。

(參見:思維鏈)

開源

開源指的是底層代碼向所有人公開,供任何人使用、檢查或修改的軟體——或者越來越多地指AI模型。在AI領域,Meta的Llama系列模型就是一個突出的例子;Linux則是作業系統領域著名的歷史先例。開源方式讓全世界的研究人員、開發者和公司能夠在彼此的工作基礎上繼續構建,加速進步,並支持封閉系統難以輕易提供的獨立安全審計。閉源意味著代碼是私有的——你可以使用產品,但無法看到其內部工作原理,OpenAI的GPT模型就是如此——這一區別已成為AI行業中最具代表性的爭論之一。

並行化(Parallelization)

並行化是指同時做多件事,而不是按順序一件件做——就像讓10名員工同時處理項目的不同部分,而不是一名員工按順序完成所有工作。在AI領域,並行化是訓練和推理的基礎:現代GPU專門設計用來同時執行數千次計算,這也是它們成為該行業硬體支柱的重要原因。隨著AI系統日趨複雜、模型規模不斷擴大,能否在眾多晶片和眾多機器之間實現並行處理工作,已成為決定模型構建和部署速度與成本效益的最重要因素之一。對更優並行化策略的研究如今已成為一個獨立的研究領域。

內存末日(RAMageddon)

RAMageddon是對科技行業正在蔓延的一個不那麼有趣的趨勢起的一個有趣新稱呼:隨機存取儲存器(RAM晶片)的短缺日益加劇,而這種晶片幾乎為我們日常使用的所有科技產品提供動力。隨著AI行業蓬勃發展,各大科技公司和AI實驗室都在爭相打造最強大、最高效的AI,因此大量採購RAM用於支持其數據中心,導致留給其他人的份額所剩無幾。而這種供應瓶頸意味著,剩下的儲存晶片正變得越來越昂貴。

這波影響波及遊戲行業(各大公司不得不提高主機價格,因為其設備的儲存晶片變得更難獲取)、消費電子行業(儲存短缺可能導致智慧型手機出貨量出現十多年來最大幅度的下滑)以及一般企業計算領域(因為這些公司自己的數據中心也難以獲得足夠的RAM)。價格上漲預計只有在這場令人頭疼的短缺結束後才會停止,但遺憾的是,目前幾乎沒有跡象表明這種情況會很快發生。

循環深度(Recurrent depth)

這是一個更"技術性"的名稱,指代與不透明循環相同的底層方法(將查詢在模型層中反覆循環,而不是用語言進行順序推理)。媒體幾乎可以互換使用這兩個術語,這也是我們將其收錄於此的原因,不過"循環深度"是工程術語,而"不透明循環"則是強調安全擔憂的表述方式。

(參見:不透明循環、思維鏈)

遞歸自我改進(Recursive self-improvement)

與AGI一樣,遞歸自我改進(RSI)也是衡量AI能有多聰明、能在多大程度上擺脫對人類依賴的一個門檻。在RSI場景中,AI模型開始在沒有人類干預的情況下自我改進,從而帶來能力和自主性的巨大飛躍。在某些說法中,這將是一個類似奇點的災難性時刻,即AI模型變得不受外部干預影響。但RSI也描述了一種基本能力——AI模型能否設計出自己的繼任者?——這使工程師更容易嘗試構建它。近來有不少AI初創公司著手打造具有遞歸自我改進能力的模型,但大多數公司都摒棄了那種末日論式的解讀,而是將RSI呈現為研究的下一個前沿領域。

強化學習

強化學習是一種訓練AI的方式,系統通過不斷嘗試並因正確答案獲得獎勵來學習——就像用零食訓練你心愛的寵物一樣,只不過這裡的"寵物"是一個神經網路,而"零食"是表示成功的數學信號。與在固定的標註示例數據集上訓練模型的監督學習不同,強化學習讓模型探索環境、採取行動,並根據收到的反饋不斷更新其行為。這種方法在訓練AI玩遊戲、控制機器人方面被證明特別有效,最近還被用於提升大語言模型的推理能力。諸如從人類反饋中進行強化學習(RLHF)這樣的技術,如今已成為頂尖AI實驗室微調模型、使其更有幫助性、更準確、更安全的核心手段。

Token

在人機交流方面,存在一些明顯的挑戰——人類使用人類語言進行交流,而AI程序則通過基於數據的複雜算法過程執行任務。Token架起了這座橋樑:它們是人類與AI交流的基本構成單位,代表著經大語言模型處理或生成的離散數據片段。它們是通過一種叫做分詞的過程創建的,該過程將原始文本分解成語言模型可以消化的小單位,類似於編譯器將人類語言翻譯成電腦能理解的二進制代碼。在企業場景中,Token也決定著成本——大多數AI公司按Token使用量對大語言模型收費,這意味著企業用得越多,支付的費用也越多。

Token吞吐量

再次強調,Token是AI語言模型在處理語言之前將其分解成的小塊文本——通常是單詞的一部分而非完整單詞;就理解AI工作負載而言,它們大致相當於"單詞"。吞吐量指的是在給定時間段內能夠處理的量,因此Token吞吐量本質上是衡量一個系統能同時處理多少AI工作量的指標。高Token吞吐量是AI基礎設施團隊的重要目標,因為它決定了一個模型能同時服務多少用戶,以及每個用戶能多快收到響應。AI研究員安德烈·卡帕西曾描述過,當他的AI訂閱服務處於閒置狀態時,他會感到焦慮——這與他作為研究生時,看到昂貴的電腦硬體沒有被充分利用時的感受如出一轍——這種情緒恰恰體現了為何最大化Token吞吐量已成為該領域某種意義上的執念。

訓練(Training)

開發機器學習AI涉及一個被稱為訓練的過程。簡單來說,這指的是將數據輸入模型,以便模型能從模式中學習並生成有用的輸出。本質上,這是系統對數據特徵做出響應的過程,使其能夠調整輸出以趨向所追求的目標——無論是識別貓的圖像還是按需生成一首俳句。

訓練可能成本高昂,因為它需要大量輸入,而所需的數據量一直呈上升趨勢——這就是為什麼混合方法(比如用有針對性的數據對基於規則的AI進行微調)有助於在不完全從零開始的情況下控制成本。

(參見:推理)

遷移學習(Transfer learning)

一種技術,將先前訓練好的AI模型作為開發新模型的起點,用於處理不同但通常相關的任務——從而使先前訓練周期中獲得的知識能夠被重新應用。

遷移學習可以通過縮短模型開發流程來提高效率、節省成本。當目標任務的數據相對有限時,這種方法也很有用。但需要指出的是,這種方法存在局限性。依賴遷移學習獲得泛化能力的模型,通常仍需要在額外數據上進行訓練,才能在其專注的領域中表現良好。

(參見:微調)

驗證損失(Validation loss)

驗證損失是一個數字,用來告訴你AI模型在訓練過程中學習的效果如何——數值越低越好。研究人員會密切跟蹤這個指標,將其當作一種實時成績單,用來決定何時停止訓練、何時調整超參數,或是否需要調查潛在問題。它有助於標記的一個關鍵問題是過擬合,即模型死記硬背訓練數據,而沒有真正學習到能夠泛化到新情況的模式。可以把它想像成真正理解教材內容的學生和只是死記硬背去年考試題的學生之間的區別——驗證損失有助於揭示你的模型正在成為哪一種。

權重(Weights)

權重是AI訓練的核心,因為它們決定了訓練系統所用數據中不同特徵(或輸入變量)被賦予多大的重要性(或權重)——從而塑造AI模型的輸出結果。

換句話說,權重是數值參數,用來定義在給定訓練任務中,數據集中哪些內容最為重要。它們通過對輸入進行乘法運算來實現其功能。模型訓練通常從隨機分配的權重開始,但隨著訓練過程的推進,模型為了得到更接近目標的輸出,權重會不斷調整。

例如,一個用於預測特定地區房價的AI模型,如果基於該地區的歷史房地產數據進行訓練,可能會包含針對臥室和浴室數量、房產是獨立式還是半獨立式、是否有停車位、車庫等特徵的權重。

最終,模型賦予每個輸入的權重反映了這些因素基於給定數據集對房產價值的影響程度。

本文將隨著新資訊的出現而定期更新。

Q&A

Q1:什麼是不透明循環(opaque recurrence)?

A:不透明循環是指AI模型將同一查詢在其內部層中反覆循環處理,而不是用明白易懂的語言進行逐步推理。這種方式效率更高,但留下的可讀痕跡遠少於正常的思維鏈,讓安全研究人員擔心這會讓發現異常行為變得更困難。

Q2:大語言模型和AI智能體有什麼區別?

A:大語言模型是ChatGPT、Claude等AI助手背後使用的核心模型,主要負責處理和生成語言。而AI智能體是利用AI技術代表用戶執行一系列任務的工具,比如報銷費用、訂票,甚至編寫代碼,能力範疇超越了普通聊天機器人。

Q3:什麼是RAMageddon?為什麼會影響到普通消費者?

A:RAMageddon是指隨機存取儲存器晶片短缺的趨勢,因為AI公司大量採購RAM用於數據中心建設。這導致遊戲主機漲價、智慧型手機出貨量可能出現十多年來最大降幅,以及一般企業計算成本上升,價格上漲預計要等到短缺緩解後才會停止。

宅中地 - Facebook 分享 宅中地 - Twitter 分享 宅中地 - Whatsapp 分享 宅中地 - Line 分享
相關內容
Copyright ©2026 | 服務條款 | DMCA | 聯絡我們
宅中地 - 每日更新