隨著GPU集群規模擴大，運營工作涉及計算、網路、硬體和調度等多個層面。站點可靠性工程師（SRE）往往需要查看多個儀錶盤，才能找出訓練性能下降的原因。如果一組AI智能體能夠通過一個統一界面完成這種關聯分析，情況會怎樣？
英偉達開發了AI工廠運營智能體，用於簡化其內部NVIDIA DGX SuperPOD的運營工作，減少NVIDIA SRE的人工操作量。各子智能體之間通過模型上下文協議（MCP
）進行通信，任何組織都可以採用這一協議，以最大化AI工廠的正常運行時間和性能表現。
AI工廠運營智能體不要求SRE分別檢查AI工廠軟硬體的每一層，而是針對不同運營領域使用專門的智能體。在實際生產中，這些智能體能夠檢測故障、跨層關聯根本原因，並通過聊天界面給出清晰的建議。SRE可以用自然語言與任意智能體交互，在不同調查任務之間切換，並對每一步操作進行可追溯的記錄。
本文將分享相關經驗，並介紹如何將AI工廠運營智能體應用到您自己的工作流程中。
架構：基於英偉達藍圖與開放模型
AI工廠運營智能體開發示例圍繞NVIDIA NemoClaw藍圖構建。其核心是面向用戶的智能體運行時，它通過聊天界面接收SRE的查詢請求，並調用相應的領域智能體和工具。
智能體通過OpenClaw插件和MCP伺服器連接到基礎設施，每個MCP都對外暴露一組經過審核的專用運營工具集。用戶既可以使用內置的網頁界面，也可以通過API集成現有的編程智能體界面。這種模組化設計使得用戶可以在不改動現有智能體的情況下，新增智能體和基礎設施集成。
該框架基於NVIDIA OpenShell構建，完全支持本地部署，兼顧可擴展性與數據主權需求。智能體推理使用本地部署的NVIDIA Nemotron開放模型，框架本身則運行在英偉達內部的NVIDIA DGX H100、NVIDIA DGX B200和NVIDIA DGX GB300生產集群上。下一節將介紹OpenShell如何提供智能體治理與控制機制，以確保智能體安全運行。
英偉達的實現方式
AI工廠運營智能體作為Kubernetes控制平面應用運行。Helm將用戶界面、OpenClaw網關、MCP工具伺服器、推理端點以及NVIDIA OpenShell運行時都部署為Kubernetes服務。聊天界面將每個請求發送給NemoClaw，再由其路由至相應的領域智能體。
在執行Shell命令方面，OpenShell為每個會話創建獨立的Kubernetes沙箱，而不是在主網關容器中運行命令。該運行時接收AI工廠運營智能體的工作空間、所選技能以及命令策略，其生命周期不會修改現有服務或生產工作負載。
安全機制採用分層設計。Kubernetes檢查使用伺服器端的run_kubectl工具，該工具調用固定版本的kubectl二進制文件，並使用已註冊的只讀憑據進行訪問。OpenShell本身不持有kubectl或Kubernetes憑據。Kubernetes服務帳戶和基於角色的訪問控制（RBAC）定義了該工具可檢查的集群資源範圍。
由於這些檢查經過與運行時相同的Kubernetes訪問路徑，其結果能夠清晰反映智能體在集群內可以執行與不能執行的操作。
(agent) $ kubectl auth can-i get pods
yes
(agent) $ kubectl auth can-i get configmaps
yes
(agent) $ kubectl auth can-i get secrets
no
(agent) $ kubectl auth can-i create pods
no
(agent) $ kubectl auth can-i update pods
no
AI工廠運營智能體、子智能體與工具
英偉達內部部署的AI工廠運營智能體使用一套不斷擴展的英偉達數據中心領域專用智能體生態系統，每個智能體都能提供相應的建議。
任務恢復智能體：檢測訓練任務故障與有效吞吐量下降情況，跨調度器、應用程式、硬體和網路各層進行多層根本原因分析，在確認根本原因後給出恢復建議。
硬體智能體：在設備級別對硬體故障進行分類處理，包括PCIe錯誤、ECC錯誤、GPU問題、NVMe故障和熱異常，將故障現象追溯到具體部件。
可觀測性智能體：查詢歷史Prometheus數據、遙測資訊以及集成的Grafana Loki日誌，動態生成儀錶盤並直接顯示在網頁界面中。
研究智能體：搜索預加載的文檔資料，包括NVIDIA Mission Control手冊以及DGX SuperPOD參考架構和部署指南，用戶也可以上傳自己的運維手冊和站點專屬指南。
Kubernetes智能體：提供跨Pod、服務、部署、GPU資源、節點狀態和調度狀態的只讀運營感知能力。
集群管理智能體：通過診斷類MCP工具與NVIDIA Base Command Manager API對接，提供諮詢性質的集群管理與故障排查支持。
除了這些領域智能體之外，該框架還集成了跨領域的MCP工具，包括網路搜索、代碼執行以及Grafana儀錶盤等功能。
用戶還可以接入自己的MCP伺服器和API，使該框架適配各自環境中已在使用的調度器、可觀測性平台、集群管理器和運營流程。
數據中心智能體應用的經驗總結
英偉達持續通過衡量根本原因分析（RCA）準確率、跟蹤SRE認同度以及擴展智能體生態系統來完善該框架。從生產實踐中，有五條經驗尤為突出：
清晰的智能體邊界：職責重疊會產生噪聲而非有效信號。
只讀優先：準確的調查分析是建立SRE信任、進而實現自動化的前提。
跨層關聯分析：該框架能夠連接工作負載、硬體和網路信號，發現孤立工具所無法察覺的根本原因。
精確的MCP工具定義：清晰的工具定義能夠改善路由準確性，減少工具選擇錯誤。
透明的推理過程：SRE在採取行動前，需要能夠看到工具調用過程、證據以及結論。
將智能體驅動運營引入您的AI工廠
對於大規模運行AI工廠的組織而言，推薦的部署模式是採用與生產集群隔離的專用GPU加速控制平面。該控制平面負責智能體編排與推理，而生產集群則提供遙測數據，不占用訓練GPU資源，也不干擾現有工作負載。
英偉達內部部署在專用GPU算力上運行模型推理，並利用現有控制平面的CPU Kubernetes管理空間運行時服務。其他部署方案則可以根據數據主權要求、集群規模和可用GPU容量，選擇本地或雲端推理端點，較小規模的部署可以使用RTX PRO工作站或DGX Spark。
對於多租戶AI工廠，可通過範圍受限的智能體、工具、沙箱和Kubernetes權限，控制每個租戶可訪問的集群數據、工具和節點。租戶SRE只能看到自己的命名空間、任務和節點，而中央運營團隊則保留更廣泛的集群可見性。每個租戶可以根據需要使用自己專屬的一套領域智能體和專用推理硬體。OpenShell通過在隔離沙箱中運行每個租戶的智能體和工具，並施加核心級限制，來強制執行這些邊界。
開始使用
要開始簡化集群運營管理，可以探索AI工廠運營智能體開發示例，或直接在GitHub上訪問開源框架和代碼。該編排框架目前作為實驗性開源軟體提供，API、配置和部署要求可能在不同版本間發生變化。英偉達客戶可聯繫其客戶經理，申請訪問英偉達開發的集群運營智能體。
