Datadog將大型語言模型用於監控，創建一個稱為Bits AI的人工智慧助理，增加企業對系統的可觀察性。另外，針對如GPT或是BERT等預訓練大型語言模型，Datadog也推出可觀察性工具LLM Observability，用以監控生成式人工智慧應用程序，發現底層大型語言模型可能存在的問題。
監控應用程序和基礎設施是一項負擔繁重的工作，需要篩選來自不同系統的大量數據和文件，Datadog開發Bits AI可觀察性助理，供用戶以自然語言指令處理端到端事件管理，加速問題診斷以及確認事件影響範圍。
Bits AI提供單一對話接口，查詢和關聯整個Datadog平台上的重要數據，監控範圍包括日誌、指標、關注、內部文件甚至是Slack對話等所有內容。Datadog採用了OpenAI的大型語言模型來強化Bits AI的功能，大幅降低系統監控的門檻，用戶能從Slack協調回應，Bits AI也會自動更新狀態給相關人士，而對於程序代碼層級的錯誤，Bits AI甚至會提供簡單錯誤說明與修復建議，用戶只要鼠標點擊就可以應用修復建議，並以單元測試驗證修復的正確性。
當事件獲得解決後，Bits AI還將協助用戶編寫分析報告，除了提供事件發生時的系統狀態，同時也會分析事件對客戶的影響，以及記錄最後採取的措施。
Datadog並非第一家將大型語言模型用於監控工具的廠商，其競爭對手New Relic在今年5月就已經使用OpenAI多模態大型語言模型推出Grok，同樣讓用戶可以使用自然語言對話，深入了解系統問題，並獲得相對應的建議。
另外，針對企業大量在應用程序中集成預訓練大型語言模型，提供生成式人工智慧功能，Datadog也推出大型語言模型可觀察工具LLM Observability，供開發人員更深入了解底層大型語言模型的行為，Datadog提到，企業對模型的控制與了解不足，可能會導致模型表現不佳甚至不準確。
LLM Observability供用戶觀察提示詞以及回應，方便關注模型性能並探索可改進的機會。該工具為一個可持續監控大型語言模型的解決方案，偵測有問題的集群、模型飄移，以及可能影響模型性能的特殊提示詞和回應特徵。
