在人類的拼搏進程中，我們已經證明自己有能力通過族群當中最睿智的一批頭腦提出初步概念，並在此基礎之上開拓發展以加快學習速度。艾薩克·牛頓爵士還曾有過一句名言，「如果我看得更遠，那是因為我站在巨人的肩膀上。」但頗為有趣的是，自從牛頓在1675年寫給勞勃·胡克的信中首次提出這句話以來，他本人也已經被廣泛視為替後人提供指引與依靠的又一位巨人。
如同牛頓在物理學領域的諸多貢獻一樣，他的觀點也反覆得到歷史的驗證。曾幾何時，數學和科學的概念是只有博士們方能掌握的前沿知識，但包括代數、幾何甚至是熱力學基礎等概念如今甚至開始進入小學生的課堂。這種教育加速的一大關鍵，就在於通過示例（無論是真實存在、還是刻意設計）來演示、強化並應用有待學習的概念。
同樣的，人類如今也正在將這一概念應用於生成式AI領域。隨著生成式AI從實驗階段逐漸過渡到價值創造階段，基礎模型的訓練方式也在不斷變化。正如人類開始以更加成熟的姿態學習特定學科一樣，部分團隊（例如IBM研究團隊與合作夥伴紅帽）也開始憑藉其最近發布的InstructLab來改進生成式AI模型的學習方式。通過此舉，他們展示了基礎模型如何針對特定任務實現顯著的定製化加速效果。
解鎖新的訓練方式
InstructLab是一個開源項目，旨在將變更整合進大模型之內、同時保證無需徹底重新訓練整個基礎模型，從而降低對大模型的微調成本。
根據IBM公司最近發布的博文，實現這一目標的關鍵不僅在於使用人工整理的數據和示例，更在於使用大模型生成的高質量合成示例來增強數據和訓練素材，確保這些示例能夠反映現實世界中的模式。如同人類一樣，這些示例為學習主題提供了堅實的基礎，從而顯著改善了模型在特定領域中的表現，同時保證無需完全重新訓練核心模型。這些合成數據示例能夠幫助企業節約收集真實數據所需要的時間、精力和資金。通過利用合成數據，InstructLab技術將自定義模型提升到了新的水平之上。
而藉助最近發布的Granite模型家族，IBM得以使用InstructLab將代碼生成得分提高20%，同時縮短了實現此等質量改進的時間周期。對IBM研究總監Dario Gil在今年Think大會上的主題演講做出總結的博文就提到，「當初IBM利用Granite編碼模型在訓練中學習將COBOL翻譯成Java時，前後共進行了14輪微調，總計耗時達9個月。而使用InstructLab，研究團隊在一周之內就添加了新微調的COBOL技能，且只需一輪微調即可實現更佳性能。」
Dario Gil在Think 2024大會的主題演講中，介紹了InstructLab實現的訓練改進成效。
之所以能夠取得亮眼成果，依靠的是使用人類編寫的COBOL-Java配對程序示例作為種子數據，之後再使用InstructLab將IBM Z手冊及各類編程教科書轉換為額外的、以合成方式生成的COBOL-Java配對以增強種子數據。完成之後，即可將新數據輸入核心Granite模型，從而實現上述微調加速效果。
這裡解釋一下，Granite模型是IBM打造的大語言模型（LLM）家族，旨在提高人類程式設計師的生產力。這些大模型擁有不同的參數規模，並可將生成式AI應用於多種模態，包括自然語言和代碼。Granite基礎模型還在接受微調以創建助手，幫助開發者將代碼從舊語言翻譯成現代語言、調試代碼並可根據簡單的英語描述編寫新的代碼。由於IBM專注於開發企業級生成式AI，所以Granite模型家族不僅具備代碼生成數據集，還在涉及學術、法律和金融等內容的數據集上接受了訓練。
站在巨人的肩膀上
很明顯，對新型基礎模型的大規模訓練能力，將對生成式AI乃至人類對於此類模型的實際用途產生深遠的影響。現在是時候進一步發揮這種影響，讓已經被應用於現實用例及應用場景的基礎模型再邁出跨越性的一步。事實證明，這些用例和應用程序可以提供切實價值，特別是為企業創造出新的可能性。然而，以往開發此類基礎模型的標準訓練方法需要消耗大量數據中心資源，也就直接對應著海量的資本與運營投入。為了讓這些基礎模型真正兌現生成式AI做出的承諾，企業需要重新審視自己的模型訓練過程。具體來講，要想讓AI模型得到大規模部署，微調技術必須得到持續發展，從而以更低成本引入來自更多特定領域的數據。從目前展示的結果來看，IBM和紅帽的InstructLab項目似乎正在做出有益的探索。相信時間最終將告訴我們，站在巨人肩膀上的新時代企業到底能在這條路上走多遠。
