9月30日消息,《Minecraft》(Minecraft)一直以來都是玩家展現創造力的天堂,而最近,一位名為Sammyuri的愛好者在這款遊戲中完成了一項令人驚嘆的壯舉:他在遊戲中構建了一個名為CraftGPT的語言模型。
Sammyuri此前就曾在遊戲中構建了一個1Hz CPU,這次他再次挑戰極限,用1020×260×1656個方塊(總計4.39億個方塊)搭建了一個巨大的電腦,用於運行CraftGPT。
這個語言模型基於TinyChat數據集訓練,能夠生成簡單的對話,最大缺點是響應時間極長——用戶需要等待數小時才能得到一個回答,即使使用MCHPRS(Minecraft高性能紅石伺服器)將速度提高到約40000倍速也是如此。
Sammyuri也提醒用戶和測試者降低期望,因為這個模型很容易跑題,生成語法不正確的回答,甚至輸出無意義的內容。
紅石在Minecraft中提供了電子元件的功能,那麼Sammyuri是如何使用紅石構建這個項目的呢?其在影片中展示了CraftGPT裝置的逐步組裝過程,包括分詞器、矩陣乘法器等組件。
Sammyuri解釋說,這個小型語言模型完全在Minecraft中創建,沒有使用命令方塊或數據包。
對於AI開發者來說,CraftGPT的參數也很有趣:它有240個嵌入維度、1920個tokens的詞彙量,由6層組成,上下文窗口大小為64 tokens,足以進行非常簡短的對話。
雖然CraftGPT在對話質量、深度和準確性方面存在諸多限制,但它仍然展示了玩家在Minecraft中實現複雜技術的可能性。