AI 模型設置“護欄”｜英偉達發布NeMo Guardrails

IT之家 4 月 26 日消息，人工智能（AI）的發展日新月異，但也存在一些難題，比如 AI 模型有時會出現“幻覺”，即說出錯誤的事實、涉及有害的話題或導致安全風險。為了解決這個問題，英偉達在周二發布了一款新的軟件，名為 NeMo Guardrails，可以幫助軟件開發者給 AI 模型設置“護欄”，防止它們產生不良的輸出。

NeMo Guardrails 是一個軟件層，位于用戶和 AI 模型之間，可以在模型輸出不良內容之前進行攔截和修改。例如，如果開發者想要創建一個客服聊天機器人，可以使用 NeMo Guardrails 來限制它只能談論相關的產品，而不能談論競爭對手的產品或其他不相關的話題。如果用戶提出這樣的問題，機器人可以引導對話回到開發者希望的話題上。

該軟件還能夠利用一個 AI 模型來檢測另一個 AI 模型的“幻覺”，通過向第二個 AI 模型提問來核實第一個 AI 模型的答案。如果兩個模型給出不一致的答案，那么軟件就會返回“我不知道”的回答。

英偉達還提供了另一個例子，一個用于回答內部企業人力資源問題的聊天機器人。在這個例子中，英偉達能夠使用 NeMo Guardrails 來阻止基于 ChatGPT 的機器人回答關于公司財務狀況的問題或訪問其他員工的私人數據。

英偉達還表示，這個“護欄”軟件還有助于提高安全性，可以強制 AI 模型只與白名單列表中的第三方軟件進行交互。

NeMo Guardrails 是開源的，并通過英偉達服務提供，可以用于商業應用，開發者將使用 Colang 編程語言來為 AI 模型編寫自定義規則。

據IT之家搜索了解，包括谷歌和微軟支持的 OpenAI 等其他 AI 公司，也使用了一種稱為強化學習的方法來防止 LLM 應用產生有害的輸出。這種方法使用人類測試者來創建關于哪些答案是可接受或不可接受的數據，然后使用這些數據來訓練 AI 模型。

英偉達正在將其注意力轉向 AI 領域，該公司目前占據了創建這項技術所需芯片的市場主導地位，其股價在 2023 年迄今為止上漲了 85%，成為標準普爾 500 指數中漲幅最大的股票。