宅中地 - 每日更新
宅中地 - 每日更新

贊助商廣告

X

AI身份識別中的幻覺問題:自動化系統的隱患與應對之道

2026年05月11日 首頁 » 熱門科技

機器人的視覺能力正在持續提升。它們可以追蹤倉庫通道中的工人、識別前台訪客、將人臉與配送單據匹配,或在銷售代表進入會議室前調出客戶檔案。

越來越多的自動化系統還能超越攝影機本身的功能,通過查詢語言模型來為視覺識別補充上下文資訊:這個人是誰、從事什麼工作、在哪些網路平台留下了足跡,以及其公開資訊是否與存檔記錄一致。

然而,第二個環節正是問題悄然滋生之處。攝影機的價值取決於它所關聯的身份資訊是否準確,而當大語言模型被要求根據公開數據對某人進行概括時,往往會憑空捏造細節、將同名不同人的資訊混為一談,或是自信滿滿地呈現一個根本不存在的人物檔案。

對於正在構建涉及人力資源篩選、門禁管理、客戶服務或任何包含人員參與的工作流程的機器人與自動化團隊來說,單一模型的身份查詢已成為一個嚴峻的可靠性問題。

身份感知自動化的廣泛應用

身份感知自動化並不局限於機場和邊檢系統,如今它已深入到日常商業工作流程之中。接待區和展覽空間的仿人機器人會按名字問候訪客;酒店和醫院的服務機器人將人臉與房間號進行匹配;建立在視覺系統之上的人力資源平台會在面試前交叉比對公開檔案;現場服務調度工具會在分配任務前對技術人員和客戶進行畫像;甚至倉儲和物流自動化也越來越多地在交接環節觸及身份資訊,即包裹與收件人對接的那一刻。

這些系統背後的運作邏輯大致相同:機器人、攝影機或調度引擎檢測到與某人相關的信號,然後由下游AI服務對其進行解讀。而解讀層幾乎無一例外地使用大語言模型或基於大語言模型構建的處理管道。

這些模型存在有據可查的幻覺問題。斯坦福大學研究人員發現,主流模型在處理法律查詢時,幻覺率在58%至88%之間;而在EMNLP 2025上發布的一項最新多語言基準測試顯示,即便是常規知識類任務,30種語言、11個模型的平均幻覺率仍然遠高於零。

當任務是識別某個具體的人時,這些數字便從學術話題演變為真實的設計風險。

三類核心失效模式

基於公開數據的身份摘要生成,對大語言模型而言是一個出乎意料的難題,主要體現在三類失效模式上。

第一,同名混淆。當被詢問"軟體工程師約翰·羅德里格斯"時,單一模型會毫不猶豫地將五個不同的人合併成一份言之鑿鑿的人物傳記,內部不存在任何機制來核實領英檔案、會議演講和專利申請是否屬於同一個人。

第二,推測性填充。當公開記錄匱乏時,模型會主動填補空白,編造僱主、資質證書、地理位置和發表成果。這類輸出看起來條理清晰,而這恰恰是安全關鍵型身份識別環節最糟糕的特性。美國國家標準與技術研究院(NIST)的生成式AI概況將這一行為定義為"虛構",並將其列為一類獨立風險,尤其是在用戶容易受到自動化偏見影響、不加核實地接受聽起來合理的輸出時。

第三,數據陳舊。基於六個月前訓練或檢索的數據的模型,無法感知到某人已經換了工作、註銷了賬號或更新了資質證書。這一問題在機器人被部署於高管辦公室、醫療場所或面向客戶的環境中時尤為突出,因為在這些場合,錯誤的背景簡報比沒有簡報更具危害性。

這三類問題的共同根源在於:用一個模型同時承擔了多個角色,即在沒有任何二次驗證的情況下,同時完成檢索、消歧和綜合三項工作。

來自密西根大學的一項研究表明,人類在機器人犯三次錯誤後就會停止信任,且沒有任何補救策略能夠完全恢復這種信任。對於任何會說出某人姓名或引用個人資訊的機器人來說,一次幻覺式的身份錯誤,正是那種會持續發酵的錯誤類型。

傳感器融合的邏輯同樣適用於AI身份識別

機器人團隊在硬體層面已經普遍採用共識機制。傳感器融合將雷射雷達、雷達和視覺資訊結合在一起,原因正是沒有任何單一傳感器在所有環境下都可靠。

同樣的邏輯也適用於AI驅動的身份識別。如果單一模型在某些查詢上不可靠,那麼合理的解決方案就是同時詢問多個模型,只保留它們達成共識的部分。這與NIST人工智慧風險管理框架中定義的"有效且可靠"這一可信度特徵相吻合,該框架將可靠性視為任何其他可信AI屬性的基線條件。

這一理念體現在翻譯公司Tomedes開發的一款免費工具"What AI Knows About Me"上。該工具接受姓名、電子郵件、用戶名或URL作為輸入,通過一項名為SMART的功能返回公開足跡摘要。SMART將輸入同時發送給多個主流AI模型,將每個模型的響應拆分成若干片段,並只保留多數模型達成共識的版本,低共識度的內容在摘要生成前被過濾掉。

最終生成的檔案比任何單一模型獨立生成的結果都更為簡短保守。對於機器人和自動化應用場景而言,這種取捨恰到好處——一個簡明且附有置信度評分的答案,遠比一個長篇大論卻可能是虛構的檔案更具可操作性。

共識過濾後的身份查詢實際效果

理解這款工具的運作方式,有助於直觀認識共識過濾後的身份查詢在輸出層面的實際表現。

用戶輸入一個資訊,例如全名或領英主頁地址,工具將查詢並行發送給多個主流模型,各模型返回各自對該人公開足跡的最優判斷,SMART層隨後逐段比對各模型的輸出:多數模型認同的片段予以保留,存在分歧或含有推測成分的片段則被丟棄,用戶最終看到的是一份僅由共識內容重新拼合而成的摘要。

對於將此視為設計參考而非消費者產品的機器人團隊而言,值得關注的是該工具在界面層面的設計選擇。輸出結果免費獲取,無需註冊,並明確標註了其局限性。Tomedes清晰聲明,該工具僅反映公開信號,不應作為招聘、安全或合規決策的唯一依據。

這一表述的意義在於:它提醒用戶,基於共識的身份數據只是一個輔助層,而非權威來源——同樣的告誡,也應當出現在所有據此採取行動的自動化系統中。

身份識別多模型化的實踐啟示

將身份識別視為多模型問題而非單一模型問題,可以得出以下幾點實踐啟示。

將單一模型的身份調用視為潛在風險。如果機器人、聊天機器人或工作流程援引了某個具名人員的個人資訊,該資訊應當能夠追溯到多個來源,否則就是隨時可能引發的幻覺。

暴露置信度,而不僅僅是內容。消費者用戶可以接受模糊的摘要,但工業系統不能。機器人背後的任何身份識別層都需要對每條聲明賦予置信度評分,並且機器人需要明確的策略來應對置信度低於閾值的情況。

將傳感器與解讀器分離。視覺系統負責檢測和匹配,大語言模型負責解讀,混淆這兩個環節,正是倉庫機器人以錯誤職位頭銜介紹訪客的根源所在。

為拒絕行動進行設計。任何身份識別系統最重要的能力,是知道何時保持沉默。一款能夠過濾低共識聲明的工具,正是在內容層面展示這一能力;機器人和自動化工作流程在行動層面同樣需要這一選項。

可靠性是下一階段的核心命題

機器人行業在過去幾年中快速吸收了生成式AI技術棧。感知基礎模型、視覺-語言-行動系統和合成數據管道已成為現代機器人路線圖的標準組成部分。

下一階段則不那麼光鮮,但更為關鍵,核心在於可靠性而非能力。對於那些圍繞人員做出決策或在人員面前運作的系統,必須以同樣的方式贏得信任,就像其他安全相關組件通過冗餘和交叉驗證贏得信任一樣。

Tomedes的AI負責人Rachelle如此概括:"單一模型對某人的描述只是一個初步猜測,而非經過核實的事實。如今能從公開網路獲得的唯一可靠信號,是多個模型獨立得出的共同結論。其他一切不過是一個聽起來合理的故事。"

對於正在構建下一代機器人和自動化系統的團隊而言,設計含義是直接的:共識不是錦上添花的功能,而是任何觸及人員的AI層所必須達到的最低可靠性標準。

Q&A

Q1:AI身份識別中的幻覺問題具體指什麼?

A:AI身份識別中的幻覺問題,是指大語言模型在根據公開數據生成某人檔案時,會捏造不存在的細節、將同名不同人的資訊混為一談,或對根本不存在的人物生成看似可信的描述。斯坦福研究顯示,主流模型在法律查詢中的幻覺率高達58%至88%,當任務是識別具體人員時,這一問題將直接演變為設計層面的風險。

Q2:SMART多模型共識機制是如何工作的?

A:SMART是Tomedes開發的工具"What AI Knows About Me"中的核心功能。它將用戶輸入的姓名、郵箱或URL同時發送給多個主流AI模型,分別獲取各模型對該人公開足跡的描述,再逐段比對各模型的輸出,只保留多數模型認同的內容,過濾掉存在分歧或含推測成分的片段,最終生成一份更簡短、更保守但也更可靠的身份摘要。

Q3:機器人系統在身份識別環節應該採取哪些設計措施來降低風險?

A:主要有四點建議:一是不依賴單一模型進行身份判斷,所有個人資訊應可追溯至多個來源;二是為每條身份聲明附加置信度評分,並設定低置信度時的應對策略;三是明確區分視覺檢測系統和語言模型解讀系統,避免職責混淆;四是賦予系統"拒絕行動"的能力,在共識不足時選擇保持沉默,而非輸出不可靠的結論。

宅中地 - Facebook 分享 宅中地 - Twitter 分享 宅中地 - Whatsapp 分享 宅中地 - Line 分享
相關內容
Copyright ©2026 | 服務條款 | DMCA | 聯絡我們
宅中地 - 每日更新