現代AI的運行大量依賴乘法運算。從生成式AI到圖片整理、音樂推薦，神經網路背後需要執行數十億次將輸入值與權重相乘的操作。德克薩斯大學奧斯汀分校電氣與電腦工程學教授Lizy K. John認為，這些運算遠比實際需要的複雜。
過去五年，John一直致力於研究一類名為"無權重神經網路"的模型。這類網路不依賴反覆的乘法運算，而是將二進制輸入通過相互連接的查找表進行處理——更像是查閱一組預存答案，而非反覆求解同一道算術題。她表示，根據任務不同，這類網路在保持相近精度的前提下，體積或速度可達傳統方案的1000倍。
她的團隊目前專注於小型、特定場景的應用：醫療傳感器、運動追蹤、關鍵詞識別。但她認為，這一方法最終有望擴展到更大的目標，包括當今聊天機器人背後的Transformer模型。
為什麼選擇放棄權重，轉向查找表？
John表示，幾年前，一位朋友隨口邀請她參加一個每周例會，討論用查找表替代權重的技術——這並非新概念。早在80年代，英國就有人圍繞這一技術構建了用於模式識別的商業產品，但後來銷聲匿跡。里約聯邦大學的幾位教授多年來默默堅持研究，但只有一個研究小組，成果有限。
朋友知道她有硬體實現經驗，認為她能幫助將這一想法落地。她當時有一名學生，此前一直研究脈衝神經網路——另一種傳統神經網路的替代方案，非常適合接手這個課題。對她而言，貫穿始終的核心關切是能效。AI的高能耗令她憂慮，她一直在尋找用更少資源、更低功耗實現同等效果的方法。
不到六個月，團隊就在FPGA（一種現成晶片）上實現了運行。他們構建出一批採用查找表方法的小型神經網路，可以運行在微型晶片上，無需GPU。體積比同類方案縮小了1000倍，這一結果令人振奮。
為什麼現在是研究無權重神經網路的好時機？
John說，當前AI模型的能力令人嘆為觀止。她每次使用ChatGPT都印象深刻，儘管它有時也會出錯。但當模型預測句子中的下一個詞時，背後需要進行數十億次乘法運算。如果有人問她一個問題，她不會靠做乘法來回答，而是在腦中判斷：該說什麼，不該說什麼。而人腦完成這些思考，只消耗約20瓦的能量。
當今主流網路模型所依賴的神經元模型，源自1943年的一篇論文——McCulloch-Pitts模型。業界在此基礎上不斷擴展，堆疊數十億個神經元，才得到今天能用的系統。但這並不意味著這是唯一的路。她的基本判斷是：也許存在更簡單的方式，同樣能得出正確答案。
在查找表方案中，本質上是查詢一個0或1，判斷"走這個方向還是不走"。沒有30位或16位的權重，也就沒有乘法——而乘法正是耗能的根源，無論是在硬體中還是對人類大腦而言，都是一種代價高昂的運算。小時候我們都為背乘法表頭疼，這本就是一種複雜操作。
目前已取得哪些成果？
在人體活動識別、醫療監測（心電圖、腦電圖、血壓）等數據集上，無權重神經網路可將能耗降低1000倍。目前許多智能傳感器上的處理只能採集原始數據並上傳至伺服器或手機，因為電池供電的貼片設備無法在本地完成處理。
他們的網路足夠小，可以直接部署在傳感器上。針對某一具體問題，業界最優的小型AI模型體積為17MB，而他們的方案僅需14KB，縮小了1000倍以上。這意味著無需每毫秒傳輸原始數據，既節省能耗，也保護隱私——數據無需離開設備。
在關鍵詞識別方面同樣取得進展。這類技術用於設備在識別"Alexa"等喚醒詞之前的持續監聽。目前業界最優模型每次推理需消耗5000納焦以上，而他們的方案僅需42至79納焦，具體取決於變體版本。
如果無權重架構明天就得到推廣，哪個領域會最先受益？
John表示，首要目標是醫療監測，比如一種可以貼在身上持續使用一周的創可貼式設備，讓醫生無需昂貴的聯網設備就能掌握患者狀況。化學領域也是研究方向之一——學生做完實驗後，數據需要緩慢傳出進行離線處理，過程中會引入誤差。他們希望將AI直接部署在實驗現場，讓結果即時呈現，就像把石蕊試紙浸入溶液，立刻看到顏色變化。
至於能否應用於聊天機器人，團隊正在探索中。Transformer網路由注意力層和多層感知機交替疊加構成。目前他們已經替換了多層感知機部分，約占網路的一半；注意力層尚未替換。但從長遠來看，大語言模型確實是目標之一。
此外，新型晶片製造工藝也帶來了有趣的可能性。他們在柔性可彎曲基底上構建了一個心律失常檢測器。這種基底只能容納約1萬個邏輯門，而現代2納米或5納米晶片可容納數十億個。傳統神經網路根本無法在如此有限的空間內運行，而他們的網路可以，因為它本身就足夠小。這種基底的製造過程也更具可持續性，耗水量遠低於標準晶片製造工藝。
整個技術生態系統需要為此做出改變嗎？
不需要。數據可以沿用當前模型所使用的數據，甚至可能需要更少的數據，這本身就是一個優勢。訓練目前仍在GPU上進行，因為GPU是現有最強大的計算平台。她希望未來能轉向基於FPGA的硬體進行訓練，因為FPGA本身內置了小型查找表，天然適合訓練和推理兩個階段。在此之前，技術棧的其他部分無需改變。
FPGA使用查找表已有30多年歷史，但在市場上並非主流，人們更多聽到的是其他類型的處理器。近年來也有一些AI研究嘗試用查找表替代部分乘法運算，但這些方案通常使用一張大型查找表，而非像他們這樣將多張小型查找表相互連接。這種方法並不常見——了解它的人都知道它很出色，只是還沒有流行起來。以前沒有迫切需求，而現在有了。
為什麼研究這一方向的人遠少於研究Transformer的人？
John認為，原因在於：當一種方法已經奏效，且人們還負擔得起繼續沿用它的成本時，就缺乏足夠的動力去轉變。目前他們只能證明這一方法在小規模問題上有效，例如傳感器輸出等場景。對於更大規模的問題，人們對其能否擴展缺乏信心，因為它看起來太簡單了，簡單到難以置信。
每次她在會議或其他高校做報告，認真聽講的人都會深受觸動，表示希望參與研究。但這只是零星吸引了少數人。她的希望是，能夠證明這一方法在更大規模的大語言模型上同樣有效，屆時或許能吸引更多人加入。關鍵在於證明它可行。她對此充滿期待。
Q&A
Q1：無權重神經網路和傳統神經網路有什麼區別？
A：傳統神經網路依賴大量乘法運算，將輸入值與權重相乘來完成計算，能耗極高。無權重神經網路則用查找表替代乘法，將二進制輸入通過相互連接的查找表進行處理，本質上是查詢預存答案。這使得網路體積和能耗大幅降低，在特定任務上可比傳統方案小或快1000倍，且無需GPU即可運行。
Q2：無權重神經網路目前能用在哪些場景？
A：目前主要應用於小型、特定場景，包括醫療傳感器（心電圖、腦電圖、血壓監測）、人體活動識別和關鍵詞識別。在這些場景中，能耗可降低1000倍，模型體積也極小，例如某問題上僅需14KB，而同類最優方案需要17MB。此外，團隊還在探索化學實驗現場的實時數據處理，以及柔性可彎曲晶片上的心律失常檢測。
Q3：無權重神經網路未來能用於大語言模型嗎？
A：有可能，但目前尚未完全實現。研究團隊已成功替換Transformer網路中的多層感知機部分（約占網路的一半），但注意力層尚未替換。研究者認為大語言模型是長期目標，並希望通過在更大規模模型上的成功驗證來吸引更多研究者加入這一方向。
