宅中地 - 每日更新
宅中地 - 每日更新

贊助商廣告

X

企業用Gemini Pro模型API上架,Google打造從端到雲全套工具鏈

2023年12月21日 首頁 » 熱門科技

企業用Gemini Pro模型API上架,Google打造從端到雲全套工具鏈


公有雲巨頭紛紛瞄準企業生成式AI開發需求,推出了各自的GAI技術架構和開發組件。緊接在11月底AWS披露GAI產品戰略之後,Google也在12月初,發布了最新也是他們最強的LLM模型Gemini,隔周更在GCP的AI開發組件Vertex AI上發布了企業用的Gemini Pro版模型預覽版,開放企業免費試用。Google同步推出Web版AI Studio開發工具,也將自家MLOps開發平台Vertex AI轉為聚焦企業GAI開發的LLMLOps平台,要涵蓋開發、部署到運維更多模型生命周期階段的需求。

Google在12月初正式發布了Gemini,包括高端Ultra版,中端Pro和低端Nano版模型。Gemini Ultra將可以同時分辨和理解文本、圖片和聲音,也可以用來分辨和解釋幾種熱門開發語言,包括Python、Java、C 。Google推出Gemini模型時就強調,與其他知名大型語言模型如GPT、LLama最大差異是將提供一個移動設備的小參數模型Nano版Gemini。

Google先在Vertex AI平台上架了Gemini Pro模型API預覽版,這是Gemini三款模型中的中端款。又細分為兩款API,目前只支持文本輸入和文本生成的Gemini Pro,最大可以輸入32K個Token,支持38種語言。另外,也提供了Gemini Pro Vision端點,可接受文本和圖片輸入,但只能輸發文本,Google在記者會上實測展示時,則可以直接輸入一段影片,讓模型來判讀影片中的元素。Google用「模型端點」而非另一款模型來形容第二款API,意味著,這是同一個Gemini Pro模型,只是多發布圖片功能API來區隔版本。

企業用Gemini Pro模型API上架,Google打造從端到雲全套工具鏈


Vertex AI上已經可以選擇Google新版LLM模型Gemini Pro版本,也可使用Gemini Pro Vision版本,可直接上傳一段影片,讓模型來分析影片中的元素。

Gemini Pro從現在開始提供企業和開發者免費測試,2024年才開始正式收費,輸入和輸出都要計價,將按輸入文本每千字0.00025美元或每張圖0.0025美元,而輸出則是每千字0.005美元。

而Gemini Pro的SDK目前支持了數據科學主流語言Python、兩大移動平台Android的Kotlin和iOS應用的Swift,另外還包括了Web前後端開發主流JavaScript和Node.js語言。從Pro版SDK所支持開發語言種類更可以反映出,Gemini Pro格外注重未來的移動AI應用開發需求。

除了自家新模型之外,Vertex AI的模型花園中,也一併增加了文本生成圖片的Imagen 2模型,可以生成更擬真的圖片。另外也將在數周后發布了一個以Med-PaLM 2模型為主打造的醫療GAI模型產品集稱為MedLM,中國醫藥大學附設醫院將是亞洲第一家採用這款醫療GAI模型的醫學中心。用醫療數據微調過的Med-PaLM 2以85分高分通過了美國醫生執照考試,可以達到醫療專科醫生的回答水準。

除了新模型上架化,Google也正式推出了免費的Web版GAI開發工具AI Studio,(前身是MakerSuite),默認就是使用Gemini Pro或Gemini Pro Vision來開發AI應用,每分鐘可以免費使用60次模型請求。實測AI Studio,目前已經可以輸入中文,也能產生繁體中文的內容,不過,AI Studio上的Gemini Pro模型目前只支持到2023年8月的數據。

Google在今年5月開始大幅升級機器學習開發平台Vertex AI,更聚焦提供各種生成式AI的開發工具。在這個平台的模型花園清單上,提供了超過130種通過Google企業級安全品質審查的ML模型,包括了開源和第三方提供的商用模型。在模型定製化上,這個平台提供了多項微調方法,例如提示設計、LoRA微調、人類反饋增強學習RLHF等。

隨著這次新模型發布同時,Google也宣布了多項Vertex AI更多新功能,從模型增強,與外部數據或API的互動,多模型的協作框架,自動化模型評比,更多GAI控制機制等,逐漸從模型開發,延伸到了模型部署,運維管理等LLM模型的MLOps流程。

Vertex AI增強工具主要提供三大功能,包括強化搜索常用的嵌入檢索機制,設置配置就能快速構建的RAG(檢索增強生成)工具,也可以串聯外部的矢量資料庫,圖片或影音轉換成矢量後可以存儲到矢量資料庫,通過Vertex AI使用Gemini來實現多模態的嵌入檢索,可使用GCP託管或第三方的矢量資料庫。Vertex AI將提供到18種不同的GAI控制或負責任管控機制,例如可以自動引用連接檢查,企業基礎正確性比較,或像是不宜用語和不雅圖片過濾等。

此外,Google也將陸續提供3項模型與外部環境互動的能力,8月先宣布了預覽版插件機制(Extension),可以連接到外部數據源或是外部應用,讓生成式AI模型可以取得即時的外部資訊,甚至可以代表模型操作者的身份,在授權後取得個性化的AP數據。後續,Google將添加「函數調用」(Function Calling)能力,可以將Gemini生成的結果自動導出成一隻API或一隻函數程序。企業可以在這隻功能性API中再次優化模型輸出的結果。

另外一項將添加的功能是調度(Orchestration)多模型協同運行的能力,Vertex將可以用來調度多個模型互相運行。例如在手機上用Nano版模型接收用戶口語的問題,先將問題聲音轉成文本後,再拋轉到雲計算的Pro版模型來生成回答,然後再拋轉給用戶。Google將提供一套調度框架,可以用來串聯和連接不同模型共同產生更好的回應內容。不過,Google還沒披露這套調度框架的發布進程。

在這次新版Gemini預覽版發布同時,Google也披露了Vertex AI平台多項模型評估和部署新功能,模型自動評估矩陣從單一模型評估,添加加了多模型評比功能Auto SxS,可以一對一自動比較兩個模型對指定任務的執行結果,例如進行不同模型的A/B測試之用,或是比較微調前後,或相同模型但不同參數大小的效果。當模型部署上線後,可以關注每一次回應從輸入到輸出的速度來了解模型性能。

Google新推出的AI Studio與Vertex AI採用了相同的數據安全和隱私管控機制,都可以支持顧客自帶密鑰、VPC控制、訪問透明度記錄和IAM權限管控。Google Cloud首席執行官Thomas Kurian在發布記者會上強調,企業數據只有企業自己可以訪問,其他任何人,就連Google都無法看到模型輸入、輸出或每一項人類反饋到企業模型的數據。

今年3月,Google發布了NoCode的AI工具Vertex AI Studio,主要提供兩種常見企業AI應用的快速開發,包括了「搜索」和「對話」應用,這兩項應用將會在2024年初開始支持Gemini模型。目前搜索功能只能針對單一數據源查詢,2024年時將添加一項「混合搜索」(Blended Search)應用,只需要輸入一個搜索指令,就能用Gemini來搜索不同數據源上的多模態數據,包括企業內部私有的結構化數據與非結構化數據,還有外部的公開數據。

Google預計在2024年初正式推出Gemini模型後,會集成到更多服務中,包括了Google企業級高端搜索服務將開始支持多模態嵌入矢量搜索。而Duet AI for Workspace明年初也會引進Gemini模型,可以對分析內容提供多模態的高端理解能力。

宅中地 - Facebook 分享 宅中地 - Twitter 分享 宅中地 - Whatsapp 分享 宅中地 - Line 分享
相關內容
Copyright ©2025 | 服務條款 | DMCA | 聯絡我們
宅中地 - 每日更新