宅中地 - 每日更新
宅中地 - 每日更新

贊助商廣告

X

Nvidia推出可構建企業級聊天機器人的生成式AI微服務

2023年11月30日 首頁 » 熱門科技

Nvidia推出可構建企業級聊天機器人的生成式AI微服務


Nvidia發布生成式人工智慧微服務Nvidia NeMo Retriever,讓企業能夠連接大型語言模型與企業數據,在其人工智慧應用程序提供精確的回應。該服務是NeMo系列的新產品,供企業能夠使用Nvidia優化算法,構建生產就緒的檢索增強生成(Retrieval-Augmented Generation,RAG)人工智慧應用。

NeMo Retriever為一個語義檢索微服務,讓開發者可以簡單地定製化問答應用程序。該服務能夠被部署在雲計算或是本地環境中,支持生成式人工智慧應用程序。藉由使用Nvidia優化算法,NeMo Retriever可以提供更加精準的回應。此外,開發者能夠將其與雲計算和數據中心裡的業務數據連接,以便最終用戶通過簡單的對話提示,快速獲得準確且最新的消息。

通過NeMo Retriever企業便可在其應用程序中加入檢索增強生成功能,官方提到,其提供了先進且商業化的模型和微服務,並對延遲和吞吐量進行了優化。NeMo Retriever所使用的模型經過負責任且可審核的數據訓練,開發者可選用不同的預訓練模型,並且依據使用案例自定義模型。

NeMo Retriever中的Retrieval QA Embedding模型,能夠將文本資訊轉換成為密集的矢量表示,以方便搜索矢量資料庫,檢索和最終用戶查詢最相關的文件。NeMo Retriever中的Retrieval QA Embedding模型為Transformer編碼器,是一個E5-Large-Unsupervised模型的微調版本,具有24層,嵌入大小為1,024,經過私有和公開數據集進行訓練,最大支持512個token輸入。

開發者可以通過Retrieval QA Embedding Playground API來訪問該服務,由於Retrieval QA Embedding模型為E5-Large-Unsupervised微調版本,因此也適用類似的輸入格式要求,開發者在發出請求的時候,需要指定片段資訊(Passage)以及查詢(Query)。

經Nvidia電信、IT、諮詢和能源產業的客戶內部數據集評估,Retrieval QA Embedding模型在模擬檢索增強生成場景的Recall@5指標中表現最好,而且在學術基準測試NQ、HotpotQA、FiQA和TechQA上,Retrieval QA Embedding模型在平均NDCG@10指標上超越其他開源和商業檢索模型。

宅中地 - Facebook 分享 宅中地 - Twitter 分享 宅中地 - Whatsapp 分享 宅中地 - Line 分享
相關內容
Copyright ©2025 | 服務條款 | DMCA | 聯絡我們
宅中地 - 每日更新