宅中地 - 每日更新
宅中地 - 每日更新

贊助商廣告

X

Pretxt獲500萬美元種子輪融資,實時監管AI智能體運行

2026年11月18日 首頁 » 熱門科技

人工智慧監督領域的先驅公司Pretxt AI今日宣布獲得500萬美元種子輪融資,旨在應對在生產環境中部署自主智能體所帶來的真實風險。

該公司開發了一種全新的"AI監督"工具,在運行時施加監管,確保這些智能體始終遵循企業的規則。本輪融資由Deciens Capital領投,Howdy Partners、Service Provider Capital和NSV Wolf Capital參投。

這家初創公司提出了一種持續性運行時監督層的理念,在智能體執行工作任務的過程中進行監控,將其行為與母公司的規則和政策進行對比。如果發現某個智能體開始偏離正軌,系統會立即介入,將其拉回正確軌道,防止其在造成傷害業務的嚴重錯誤之前繼續偏離。

隨著企業開始將比起草郵件或生成圖像更具重要性的工作交給AI智能體處理,像Pretxt這樣設計的實時護欄機制很可能會成為企業的優先考慮事項。例如,如果智能體需要負責處理客戶退款、訪問關鍵業務資料庫並修改其中的記錄,企業就需要獲得最強有力的保證,確保這些任務不會出錯。

然而,這類保證目前十分稀缺。AI在不知道問題答案時容易"產生幻覺"式的回應,這是眾所周知的問題,而自主智能體也一再表現出不穩定的行為。它們無需惡意的提示注入,就可能在工作流程中遺漏關鍵的必要步驟,或者為了簡化正在完成的任務而憑空捏造政策例外情況。無論是在實驗室環境還是現實世界中,這種情況都曾出現過。

為應對這一問題,大多數安全工具採取了較為強硬的方式,直接阻止智能體的行動,但這樣做會拖慢工作進度。另一種方式是在錯誤發生後再進行標記,但到那時,損害可能已經造成,且規模巨大。

Pretxt的聯合創始人布萊恩·索比(左圖)和亞倫·科斯特利(右圖)意識到,企業需要一種更為平衡的方法來處理智能體的安全與監督問題。索比目前擔任該初創公司的首席執行官,此前曾在Salesforce公司和Mitre公司擔任高級安全職務,隨後創立了軟體即服務安全初創公司AppOmni。

正是在AppOmni工作期間,他結識了科斯特利,後者現任Pretxt首席技術官。在AppOmni任職期間,兩人發現了Salesforce和ServiceNow公司所開發的AI智能體中存在的若干重大漏洞,並由此開始理解確保這些智能體安全運作所需具備的條件。

運行時的監督機制

許多傳統的智能體監控工具採用第二個大語言模型作為"裁判",用來監控執行實際工作的主要大語言模型的行為。但Pretxt的聯合創始人摒棄了這一思路,因為這種方式會帶來延遲、增加計算成本,並涉及過多的猜測成分。

相反,他們的AI監督平台由一個近乎確定性的引擎驅動,能夠在毫秒級時間內評估智能體的行為,從而發現違反規則的行為並在其發生過程中進行攔截。該公司表示,這一速度比基於"大語言模型作為裁判"的安全工具快60倍。

這種方法行之有效。在Zapier的AutomationBench測試中,Pretxt成功將智能體的政策違規率從約五分之一降低到零。該工具設計得易於實施,團隊無需深入理解他們所要監督的模型或智能體。

相反,用戶只需選擇適用於某個智能體的政策、標準和護欄規則,然後就可以實時跟蹤其執行情況。該平台允許用戶跟蹤審批流程、回滾計劃版本,並將任何棘手的邊緣情況上報給人類決策者處理。

最後這項功能尤為有用,因為許多組織的安全方案在面對智能體遇到此前未曾預見的情況時往往存在空白。在這種情況下,Pretxt會暫停該智能體,並請人類來決定應當如何制定規則。

"監督一個AI智能體,不應當意味著要成為其所涉及的一切事物或其構建方式方面的專家,"科斯特利表示。"團隊只需用簡單明了的語言告訴我們它應該如何行事、邊界在哪裡,我們就會監督並引導該智能體始終保持在這些界限之內。因此,無需理清權限問題,也無需深入研究智能體的內部機制。"

Pretxt的AI監督工具目前已開放早期訪問。該工具主要面向高風險的受監管行業,這些行業中的錯誤和幻覺現象是絕對無法容忍的。

對於金融服務和保險公司而言,該工具可以強制執行借款人驗證規則,並將複雜的理賠案件轉交給人工處理;而在醫療保健和生命科學領域,它可以確保智能體不會逾越嚴格的界限。在客戶支持應用中,它可以防止智能體向客戶提供未經批准的折扣或退款。

AI監督可以為眾多不同的人群帶來多種不同的益處。首席資訊官及其他高級管理人員將能夠安全地擴展更高價值的AI項目,而安全團隊、合規官員和平台工程師則可以填補風險管理方面的空白,並確保低延遲的政策執行,而無需疊加額外的模型。

企業管理協會分析師克里斯·斯特芬表示,真正讓Pretxt脫穎而出的是其對基礎要素的關注。它不僅檢查智能體的行為是否規範,還確保它們在完成所分配的工作時不違反任何規則、不走任何捷徑,這實際上創造出了一個全新的AI監督工具類別。

"大多數工具只會詢問某個智能體是否安全、是否合規或是否可觀測,但能夠顯示該智能體是否正確完成了所分配任務的工具卻少之又少,"斯特芬表示。"大多數工具只能在事後報告出了什麼問題,而那時往往為時已晚。Pretxt則會在結果仍可改變的時候進行介入,將智能體拉回正軌。"

圖片來源:Pretxt

宅中地 - Facebook 分享 宅中地 - Twitter 分享 宅中地 - Whatsapp 分享 宅中地 - Line 分享
相關內容
Copyright ©2026 | 服務條款 | DMCA | 聯絡我們
宅中地 - 每日更新