Nvidia宣布推出NIM AI護欄微服務，以解決企業對AI代理人的數據安全或違反法令的疑慮。
最新的NIM AI護欄微服務是Nvidia NeMo護欄（NeMo Guardrails）軟體工具集的一部分，都是以NIM微服務提供，包含內容安全、主題管控及越獄偵測。NeMo Guardrails是Nvidia開源的工具組件，可讓開發人員為LLM應用程序加入可編程的護欄（Guardrails）或管理規則。NeMo Guardrails是Nvidia NeMo管理平台的一部分。
新推出的內容安全微服務可防止AI生成有偏見或有害的輸出，確保符合倫理標準。主題管控微服務則確保對話內容的主題在許可範圍內，避免離題或不適當內容。越獄偵測微服務則防範用戶越獄（jailbreak），以免AI遭到不當利用的攻擊。其中內容安全微服務是以Nvidia的Aegis Content Safety Dataset訓練而成，包含3.5萬個人員標註的數據樣本。該數據集已在Hugging Face上公開。
Nvidia指出，企業開發人員可在開發AI代理人時使用這些輕量專用的微服務作為護欄，以作為特定AI工作流程的管控，以填補更廣泛安全策略的漏洞。此外，這些模型輕巧，可高速執行、減少延遲性，在遠程辦公室或帶寬不足的地方如醫院或倉庫也能執行，這有助於醫療、汽車、製造業擴大部署AI。
Nvidia也提供了其已開源的LLM和應用漏洞掃描工具Garak來檢測模型及應用程序的安全性，防止數據外流、提示注入、程序代碼幻覺及越獄可能性。
