近日，SemiAnalysis 分析師帶來了更多關於谷歌多模態和高效機器學習工具 Gemini 的爆料。
據透露，初代的 Gemini 應該是在 TPUv4 上訓練的，並且這些 pod 並沒有集成最大的晶片數 4096 個晶片，而是使用了較少的晶片數量，以保證晶片的可靠性和熱插拔。
如果所有 14 個 pod 都在合理的掩模場利用率（MFU）下使用了約 100 天，那麼訓練 Gemini 的硬體 FLOPS 將超過 1e26。
Gemini 已開始在新的 TPUv5Pod 上進行訓練，算力高達 1e26FLOPS，比訓練 GPT-4 的算力還要大 5 倍。另外，Gemini 的訓練資料庫為 Youtube 上 93.6 億分鐘的影片字幕，總數據集大小約為 GPT-4 的兩倍。
此前，谷歌希望 Gemini 大大提高軟體開發人員的代碼生成能力，以此追趕微軟的 GitHub Copilot 代碼助手。谷歌員工還討論過利用 Gemini 來實現圖表分析等功能，比如要求模型解釋完成圖表的含義，以及使用文本或語音指令來瀏覽網頁瀏覽器或其他軟體。
一位測試過 GPT-4 的人士表示，Gemini 至少在一個方面比 GPT-4 更具優勢：除了網路上的公共資訊外，Gemini 利用了谷歌從其消費產品中獲取的大量專有數據。因此，該模型在理解用戶對特定查詢的意圖時應該會特別準確，而且它似乎會產生較少的錯誤答案（即幻覺）。
