當前檯面上不論是基於ChatGPT模型或其他生成式AI模型的各家聊天機器人務雖然「熱門有餘」，但確有「精準度不足」的普遍詬病，即使是當前最好的模型也難免會生成內置偏見、有害、有毒及惡意攻擊的內容。為了解決這個從ChatGPT推出至今就一直存在的問題，Nvidia 4月25日發布一款名為NeMo Guardrails的開源工具組件，以促使今後AI應用能更加「準確、恰當、切題與安全」。
隨著各家生成式AI模型頻頻犯錯，不時出現似是而非、令人錯愕，甚至引發幻覺與偏見的有害言詞及造假內容，某個AI模型還因此被冠以「操縱情感的騙子」的罵名。有鑑於此，許多這類模型背後的公司紛紛實施過濾器或成立仲裁團隊來更正上述各種問題與錯誤。但截至目前為止，還沒看到令人滿意的改善成效。
Nvidia深知AI模型安全工具對於想在使用案例中部署AI模型的企業而言至關重要，為了尋求「更安全」的文本提示生成式AI模型，多年來一直在研究Guardrails底層系統的Nvidia，特別推出NeMo Guardrails開源工具組件。該組件包含程序代碼、範例和文件，能為生成文本和語音的AI App添增安全性。相對於各家推出的「專屬」過濾器，該工具組件能與大多數生成式AI模型協同運行，開發人員只需撰寫幾行程序代碼就能創建規則。
基本上，NeMo Guardrails可以避免AI模型偏主題，防止AI回復不準確的資訊或有毒的言論，更進一步杜絕AI模型連接不安全的外部資源。目前已有工作流程自動化服務商Zapier使用該工具組件來為他們的生成式模型增加一層安全性。
雖然理論上，NeMo Guardrails適用於當前大多數生成式AI模型，但事實上它算是該公司NeMo框架的一部分。身為Nvidia AI平台一部分的NeMo則是一個端到端的雲計算原生企業框架，可用來部署包含數十億參數的生成式AI模型。該框架可通過Nvidia企業AI套裝軟體以及NeMo全託管雲計算服務取得。雖然任何公司皆可採用開源版NeMo Guardrails，但Nvidia顯然更希望客戶付費訂閱託管版服務。
（首圖來源：Nvidia）
