Nvidia 公司今天宣布發布新的 Nvidia 推理微服務 (Nvidia Inference Microservices)，旨在幫助企業組織開發人工智慧代理，以解決信任、安全和安全性問題。
AI 代理是一項正在蓬勃發展的技術，它正在徹底改變人們與電腦的交互方式，但同時也帶來了幾個關鍵問題。目前，主動式 AI 正在改變知識型員工完成任務的方式以及客戶與品牌"對話"的方式，但底層的大語言模型仍可能出現偏差，產生不必要的響應，或者在惡意用戶突破其安全防護時造成安全隱患。
Nvidia NIM 是一組容器化微服務，旨在加速生成式 AI 模型的部署。今天的公告是對 NeMo Guardrails 的擴展，後者是一個面向開發者的保護框架，用於管理 AI 模型，使其能夠構建更安全、更可信的 AI 代理。
Nvidia 發布了三個 NIM 微服務，涵蓋主題控制、內容安全和越獄保護。這些微服務是經過高度優化的小型輕量級 AI 模型，用於調節大型模型的響應，以提高應用程序性能。
Nvidia 企業 AI 模型、軟體和服務副總裁 Kari Briski 表示："新微服務之一是為調節內容安全而構建的，它使用 Aegis 內容安全數據集進行訓練，這是該類別中最高質量的人工標註數據源之一。"
該數據由 Nvidia 負責管理，包含超過 35,000 個人工標註的數據樣本，用於標記 AI 安全性和繞過系統限制的越獄嘗試。該數據集將於今年晚些時候在 Hugging Face 上公開。
例如，主題控制 NIM 有助於防止代理變得過於"健談"或偏離其原始任務，使其保持在主題上。與 AI 聊天機器人的對話越長，它就越有可能忘記聊天的原始意圖，對話可能開始偏離主題，這類似於人類對話的特點。雖然這對人來說可以接受，但對聊天機器人來說卻是個問題，特別是對於可能開始談論著名搖滾明星或競爭產品的品牌 AI 代理來說。
Briski 說："像 NeMo Guardrails 集合中的小型語言模型這樣的模型具有更低的延遲，即使在資源受限或分布式環境中也能高效運行。這使它們非常適合在醫療保健、汽車和製造業等行業中擴展 AI 應用，比如在醫院或倉庫等場所。"
NIM 方法允許開發人員在最小額外延遲的情況下疊加多個保護措施。這對於大多數生成式 AI 應用程序來說非常重要，因為客戶不喜歡在等待文本出現或語音開始說話時看到三個點閃爍或圓圈旋轉。
Lowe's 公司數據、AI 和創新高級副總裁 Chandhu Nair 表示："我們一直在尋找幫助員工為客戶提供更好服務的方法。"這家家居裝修零售商與 Nvidia 合作，使用 AI 協助客戶和員工。"通過最近部署的 Nvidia NeMo Guardrails，我們確保 AI 生成的響應是安全、可靠的，並強制執行對話邊界，只提供相關和適當的內容。"
