最近，大型語言模型LLM引起了人們的關注，其中OpenAI的ChatGPT備受矚目。而近日有外媒報道，Microsoft和香港浸會大學的研究人員共同推出一款專攻編程工作的模型產品WizardCoder-15B ，可以提供指令微調。
來自Microsoft和香港浸會大學的團隊人員利用大量程序代碼數據進行預訓練，通過對大量網際網路數據進行大量預訓練並利用精確的指令數據進行進一步微調，使他們能夠在與程序代碼相關的各種活動中表現出色。
研究人員在該項目中通過使用特定於程序代碼的Evol-Instruct生成詳細的程序代碼指令數據來提高StarCoder開源程序代碼法學碩士的功能。他們通過多種方式修改了進化提示過程，並簡化了進化提示，改進了進化指令，加入了程序代碼調試和時空複雜度限制。
研究人員更使用新開發的程序代碼指令跟蹤訓練集來微調StarCoder並獲得WizardCoder。實驗顯示，WizardCoder的HumanEval性能增加了 22.3，MBPP增加了 8.2，HumanEval和HumanEval 的通過率方面甚至優於Anthropic的Claude和Google的Bard、PaLM、PaLM-2和LaMDA等產品。
數據源：marktechpost
