人工智慧為人類帶來便利性的同時也對能源造成負擔，有數據指出ChatGPT一天用超過50萬度電，而每處理5-50個提示就會消耗接近半公升水冷卻運算系統，情況令人堪憂。有見及此，Google DeepMind研究團隊近日提出一種加快人工智慧訓練的新方法，使用多模態對比學習與聯合範例選擇（JEST）能大大減少訓練人工智慧所需的計算資源和時間，其疊代次數比現在少13倍而運算量也少10倍，成功超越最先進的模型。
根據Google DeepMind研究團隊發布的研究報告，數據品質是預訓練表現的重要驅動因素。Phi-3、Gemma 2等模型表明，更少但高品質的數據可以實現更強大的性能。若要篩選出高品質的數據，關鍵是需創建有效的數據渠道。現在大致分為手動管理和基於模型的數據管理方法，但前者成本高且難以擴展，而後者則有望為多模態大規模語言模型（LLM）實現Scaling Law。
研究團隊發布的JEST原理簡單易懂，模型會從「超級batch」中篩選出「子batch」，能顯著提升學習效率。研究數據指出，當過濾90%的數據時，JEST可提升6%性能，而在以運算為代價來最大化訓練速度或效率的情況下，JEST相對於可比較的IID訓練運行可加速13倍。
研究報告展示JEST數據品質引導的巨大潛力，即使小規模的精選數據集也能指導對更大未經管理的數據集的學習，為人工智慧和多模態模型的發展開創新方向。
數據源：Tom's Hardware
