維蘇威火山挑戰賽(Vesuvius Challenge)周一(2/5)頒發了70萬美元給由Youssef Nader、Luke Farritor及Julian Schilliger所組成的團隊,因為他們利用電腦視覺與機器學習技術,成功地識別了2000年前遭維蘇威火山爆發淹沒,且已碳化的赫庫蘭尼姆紙莎草紙卷(Herculaneum Papyri)中的4個段落,以及每個段落中的140個字符。
Herculaneum Papyri指的是在羅馬古城赫庫蘭尼姆(Herculaneum)一棟別墅中所發現的超過1,800卷莎草紙(Papyri)捲軸,該別墅在公元79年因維蘇威火山爆發而整個被吞沒,人們一直到18世紀才發現這個被熱泥與灰燼所掩埋的別墅,以及別墅中的大量莎草紙捲軸,之後該建築也因此被直接命名為莎草紙別墅(Villa of the Papyri)。維蘇威火山挑戰賽鎖定的是存放在義大利圖書館中的800多個捲軸。
這些捲軸皆已碳化,而且非常脆弱,當科學家們企圖以物理方式將它們打開時,往往直接使它們化為塵土。
維蘇威火山挑戰賽的萌生想法始於2019年,當時肯塔基大學教育實驗室的教授Brent Seales於一個粒子加速器中對赫庫蘭尼姆捲軸進行成像,生成解析度達4 μm的3D CT掃描。該團隊也掃描並拍攝了帶有可見墨水的捲軸碎片,Seales的學生Stephen Parsons成功地利用機器學習模型偵測到碎片中的墨水,引起科技企業家Nat Friedman與Daniel Gross的注意,而在2023年3月發起維蘇威火山挑戰賽,獎賞任何開發相關工具、技術或發現結果的研究人員。
2023年8月,JPL創辦人Casey Handmer通過持續數小時地觀察3D CT掃描作品,發現捲軸中有著看起來像是墨水的裂紋圖案,並聲稱已經碳化的捲軸中藏著一封信。
接著一名大學生Luke Farritor則開始在閒暇時訓練一個關於裂紋模式的機器學習模型,且模型能力會隨著每一個裂紋的發現而自動精進,再以可見的數十個墨水痕跡與完整字母進行訓練,最終得到了該挑戰賽的「首批字母獎」(First Letters Prize),贏得4萬美元獎金。該獎項要求參賽者必須在4平方厘米的範圍內找到至少10個字母,Farritor找到的是ΠΟΡΦΥΡΑΣ ,是古文的紫色(Porphyras)。
圖片來源/Nat Friedman
另一名生物機器人研究生Youssef Nader採用不同的方法,他改善Parsons用在碎片中的機器學習方法,利用領域轉移技術以讓相關模型適用於捲軸,針對捲軸數據進行無監督預訓練,再針對標籤進行微調;Nader還設法找到了字母,並於標籤數據中注釋了看起來像是字母的圖像,不斷地重複進行使得捲軸內產生許多片段的推測性標籤,用不同的方法在同樣的區域找到了一致的ΠΟΡΦΥΡΑΣ,也替他帶來了1萬美元的獎金。
隨後大會也決定頒發1萬美元獎金給激發選手靈感的Handmer。
維蘇威火山挑戰賽是以眾包及累積的方式持續進行著,其中的一項大獎高達70萬美元,要求參賽者必須找出4個段落,每個段落至少140個字符,且有85%的字符是可恢復的,在有了先前的經驗之後,曾獲得3項分割工具獎(Segmentation Tooling Prizes)的Julian Schilliger與兩名得到首批字母獎的Farritor及Nader共同組成了超級團隊,通過3個不同卻相互支持的模型,成功識別出捲軸中的超過2,000個字符,在超乎標準的情況下拿下了大獎。
迄今該挑戰賽的第一階段已成功展開並閱讀了第一卷的5%內容,內容與音樂、感官及快樂有關。簡單地說,該進展來自於掃描、分割(偵測紙卷中的皺褶並將它們展開或壓平),與墨跡檢測。
圖片來源/Vesuvius Challenge官方網站
在宣布第一階段大獎得主的同時,該挑戰賽也宣布將邁入第二階段,指出現階段每平方厘米花費了超過100萬美元來製作目前可閱讀的文本,若依照該價格,分割所有捲軸將耗資數億甚至數十億美元,因此接下來將專注於自動化,第二階段的主要目標便是完善自動分割。
維蘇威火山挑戰賽表示,它們在第一階段從一個碳塊中提取了15列從未見過的文本,現在已具備相對成熟的技術,得以虛擬展開莎草紙捲軸並使用機器學習來識別墨水,今年的新目標是從一個捲軸的5%增加到掃描的所有4個捲軸的90%,以替閱讀800個捲軸奠定基礎。