自 AI 誕生以來,不少人就將它用在科研領域,希望它能協助論文寫作。但目前很多時候,AI 只能作為一種輔助工具,在集思廣益、編寫代碼等具體步驟中提供輔助,能起到的作用非常有限。
來自日本的 Sakana AI 團隊推出了一款號稱「世界上第一個用於自動化科學研究和開放式發現的 AI 系統」——「AI 科學家」(The AI Scientist)。Sakana 源自日語「さかな」,意為魚,Sakana AI 的官網多次出現該元素從構思、編寫代碼、運行實驗和總結結果,到撰寫整篇論文,它都能全部包攬,而且能夠不斷重複科研過程,以開放的方式疊代發現新想法。此外,當一名「大模型作者」撰寫論文的同時,還有一位「論文評審員」會對論文進行評論,通過「左右互搏」的方式,選出最有前途的方向進行疊代研究,更重要的是每篇論文的成本僅需約 15 美元。據介紹,「AI 科學家」全自動研究過程主要分為四個階段:1. 產生想法。研究人員給「AI 科學家」提供了一個起始代碼模板,AI 科學家會首先「集思廣益」一系列新穎的研究方向,通過鏈式思維(chain-of-)和自我反思(self-reflection)生成新的研究方向。每個創意包括描述、實驗執行計劃和自評的有趣度、新穎性和可行性評分。The AI Scientist 概念插圖2. 實驗疊代。針對第一部分提出的想法,「AI 科學家」會使用 Aider 工具規劃實驗列表並執行實驗。實驗失敗或超時的情況下,Aider 會修復代碼並重試。實驗完成後,Aider 會根據結果編輯繪圖腳本以生成論文所需的圖表。它還有一個注釋,描述了每個圖包含的內容,使保存的圖形和實驗注釋能夠提供撰寫論文所需的所有資訊。3. 論文撰寫。最後,「AI 科學家」會採用標準的機器學習會議論文格式編寫論文,整個過程包括逐節文本生成、網路搜索參考文獻、最終修訂和編譯等。使用 LaTeX 編寫論文,其中包括引言、背景、方法、實驗設置、結果和結論等部分。Aider 會根據記錄筆記和圖表填充論文模板的各個部分。由 AI Scientist 完全自主生成的《Adaptive Dual-Scale Denoising》論文預覽4. 自動化論文審閱。最後,Sakana AI 還為 AI 科學家設計了一個基於 GPT-4o 基礎模型的自動審稿人,它會使用頂級機器學習會議 NeurIPS(神經資訊處理系統大會)的審稿標準指南對論文進行評分,評估生成的論文的質量,並提供修改意見。這項工作的一個關鍵方面是開發一種自動化審稿人,據稱能夠以接近人類的準確性評估生成的論文。生成的評論可用於改進項目或作為對後代的反饋,以進行開放式構思。這使得一個持續的反饋循環成為可能,使人工智慧科學家能夠疊代地提高其研究成果。審閱者在三個領域和四個基礎模型中為人工智慧生成的論文的評分分布不過,Sakana AI 也在論文中指出,「AI 科學家」目前也存在一定的問題:1.目前,人工智慧科學家缺乏視覺能力,因此無法修復論文中的視覺問題或正確閱讀繪圖。例如,生成的圖表有時難以辨認,表格可能超出頁面寬度,頁面布局也往往不夠優化。2.人工智慧科學家可能會錯誤地執行其設想,或與基線進行不公平的比較,從而導致結果的誤導性。3.在撰寫和評估結果時,人工智慧科學家偶爾會犯嚴重錯誤。例如,它難以正確比較兩個數字的大小,這也是大語言模型已知的缺陷。看得出來,「AI 科學家」或許可以搞科研,但仍然很難消除「幻覺」,很有可能同樣分不清 9.11 和 9.9 哪個更大。Sakana AI 還提到了一個出現問題的例子。在一次運行中,「AI 科學家」為了完成研究修改了自己的執行代碼,最終導致腳本無休止地調用自身,形成了死循環。在另一次運行中,它的實驗花費了太長的時間,達到了此前設置的超時限制,它非但沒有想辦法加快速度,反而試圖通過修改代碼來延長超時時間,以放寬人類的限制,確實有點小聰明在裡面。在很多人眼中,美國與中國是目前世界人工智慧發展的兩個「高地」,絕大多數領先的 AI 公司都來自這兩個地區,但來自日本的 Sakana AI 同樣擁有不可小覷的實力。今年 1月,成立不到 1 年、員工總數不到 10 人的 Sakana AI 拿到了來自 Lux Capital、Khosla Ventures 以及其他投資者的種子資金,估值達到了 2 億美元,成功躋身 AI 獨角獸行列,再加上後來日本政府的扶持、OpenAI 的幫助,讓 Sakana AI 迅速成為區域性 AI 強者,號稱「日本的 OpenAI」。其核心團隊匯聚了來自 Google Brain、DeepMind 等機構的多位著名學者,CTO 兼聯合創始人 Llion Jones 曾在 Google 人工智慧研究室擔任技術主管多年,是著名 Transformer 論文《Attention Is All You Need》的作者之一。Sakana AI 的發展策略也同樣與眾不同,即拒絕盲目追求大數據模型,擁抱「小模型」,通過模型間的相互協作,解決針對性的問題,「AI 科學家」顯然很明顯帶就著這樣的特徵。至於為什麼首先將目光集中在科研領域,其主要原因有這樣三點: 撰寫論文為人類提供了一種高度可解釋的方法,使人類能夠從所學知識中受益; 在現有的機器學習會議框架內審查書面論文使科學家能夠標準化評估; 自現代科學誕生以來,科學論文一直是傳播研究成果的主要媒介。也就是說,由於撰寫科研論文具備高度的解釋性和可驗證性,「AI 科學家」能夠為科學研究提供一種標準化、系統化的自動化支持。這不僅能夠大幅提升研究效率,還有利於催生出更多富有創造性和前瞻性的研究方向。而撰寫論文或許只是其將 AI 融入更廣泛科學領域的一個開始。