Nvidia近日宣布將開源NeMo Gardrails，為開發人員提供一個框架，以確保生成的AI聊天機器人對用戶是準確且安全的。
當前，眾多行業正在越來越快地採用這些由大型語言模型提供支持的AI聊天機器人，這些強大的AI引擎有很多用途，例如回答客戶的問題、生成軟體代碼、生成藝術品等等。
即使這些聊天機器人已經變得越來越強大，但同時也存在一些缺陷。一些更受歡迎的大型語言模型，例如OpenAI的ChatGPT，它和微軟的Bing AI聊天機器人都是運行在相同的模型之上，眾所周知ChatGPT會產生一種「幻覺」，也就是AI會自信地陳述一些完全虛假資訊。有些聊天機器人也可能會變得不穩定，根據向它們提出的查詢產生不需要的響應內容，在其他情況下，惡意用戶也試圖使用AI來生成惡意軟體。
Nvidia公司應用研究副總裁Jonathan Cohen表示：「生成式AI的安全性是全行業普遍關注的問題。NeMo Guardrails旨在幫助用戶保護這類新型AI應用的安全。」
NeMo Guardrails為開發人員提供了一個簡單的解決方案，為AI聊天機器人設置邊界，可以控制用戶和聊天機器人之間的對話，包括主題、安全和保障，這個護欄會通過監控對話並應用開發人員設置的簡單英語規則，來確保機器人的響應是適當的。開發人員無需了解高級編碼即可設置規則，這些規則可以是用自然語言編寫的，Guardrails解釋器可以理解這些規則，並將其應用於聊天機器人和用戶之間的交互中。
主題護欄是讓用戶和聊天機器人的對話保持在主題上，並保持任何給定對話的基調。例如，它可以確保客戶服務機器人保持客戶服務模式，例如牙醫的辦公室機器人將只對提供的服務說話，而不會回答諸如接待員賺了多少錢或者是參與那些可能背離了初衷的對話中。
安全護欄則是對聊天機器人強制執行準確和適當的資訊，使用它自己知識庫中的事實核查資源，並確保機器人聲明它不知道而不是產生虛假資訊來減少幻覺。它還通過監控用戶的提示和機器人回復，來防止不受歡迎的語言和有害行為，從而保持聊天機器人的專業性。
當用戶試圖繞過防止AI被用來製作危險內容的安全功能時，安全護欄有助於防止所謂的「越獄」。這些護欄還會限制AI做任何它不應該做的事情，並且只能與已知安全的第三方應用進行連接。
如今已經開源的NeMo Guardrails旨在與眾多不同的企業AI工具配合使用，例如開源工具包LangChain，可以讓開發人員更輕鬆地將其應用接入到大型語言模型中，此外還適用於許多支持AI的應用，例如自動化平台Zapier。
Zapier AI首席產品經理Reid Robinson表示：「安全、保障和信任是負責任AI開發的基石，我們期待著讓AI成為未來可靠和值得信賴的一部分，以及這能夠帶來的各種好處。」
Guardrails正在被納入Nvidia NeMo框架中，該框架允許開發人員使用他們自己公司專有的數據構建、定製和部署他們自己的生成式AI模型。大多數NeMo框架已經在GitHub上以開源形式提供，NeMo作為Nvidia AI Foundation的一部分為企業客戶提供服務。
Cohen說，NeMo Guardrails是Nvidia人工智慧團隊多年研究的產物。他解釋說，開發人員的初步反饋是積極的，並且隨著開源版本的發布，團隊希望更多人採用該框架來構建更安全、更可靠的模型。
Cohen說：「我們的目標是讓大型語言模型的生態系統以安全、有效和有用的方式發展。如果你對他們可能會說的話感到害怕，那麼就很難去使用它們，護欄系統解決了這個問題。」
