響應半導體策略計劃成立創鑫智能數據中心AI推論60%工作量在推薦系統創鑫智能專攻推薦系統做到世界第一
今年初開放工程聯盟（MLCommons）的MLPerfAI推論（inference）性能基準測試中，有一家台灣公司端出了世界第一個專為數據中心推薦模型（Recommendation Model）設計的AI晶片RecAccelN3000的測試數據，並在伺服器領域的能源效率（energy efficiency）打敗英偉達（NVIDIA），成為世界第一能效的AI加速平台－它就是IC設計新秀「創鑫智能」。
說起自2019年成立的創鑫智能，首席技術官高肇陽分享，創鑫智能成立的契機，要把時間軸拉回2018年科技部長陳良基推動的半導體策略計劃來說。那時候還在清華大學資訊工程系任教的教授林永隆響應計劃，號召幾位已經有工作經驗的工程師一起來執行計劃，而這個計劃與其他計劃的不同之處，在於計劃需要與產業連接，也就是一開始就要設置產學界合作的實際方向。
他口中的林永隆正是創意電子的共同創辦人之一。事實上，創鑫智能是林永隆退休後的第二次創業，高肇陽指出，最初團隊是跟矽谷一家做語音IC的大廠合作，共同開發第一顆可以做串行式資料（sequence data）的AI處理晶片，可以廣泛用在邊緣設備（Edge Device）的終端產品，像是有麥克風的地方就可以應用這類的產品。
創鑫智能提供一個IP整進對方的晶片，現在這顆晶片很成功，已經在量產。高肇陽指出，到了2019年，創鑫智能就正式從清華大學分拆出來，並獲得投資人的支持，因此開始思考下一輪產品研發方向，鎖定的就是AI邊緣設備的終端產品，會選擇數據中心（data center）專用的AI晶片，主要就是因為台灣產業在這方面的著墨較少，目標要切入一個適合創業公司發揮的新舞台。
鎖定數據中心的AI晶片後，高肇陽說明，團隊開始收集適合的資料，發現Google就曾說數據中心每日的AI推論的計算，超過60%是在做深度學習（DLRM）的推薦系統，而Facebook母公司Meta公布的資料顯示，數據中心每日AI的工作量有70%以上是推薦系統。
高肇陽分享，從用戶的角度，其許可以深刻感受到這件事，因為當用戶在玩手機App時，頁面就會一直出現新聞、廣告、音樂、購物的推送，這些背後全部都是推薦系統。若從Google的使用體驗來看，當用戶輸入關鍵字，每個人看到的頁面顯示結果都不太一樣，所以可以想像推薦系統的應用很廣，代表整個人資訊料中心提供的主要服務就是推薦系統，因此鎖定推薦系統用的專用AI晶片。
最重要的是， Facebook在2019年曾在開放運算計劃（Open Compute Project）公開徵求推薦系統的專用晶片，高肇陽指出，創鑫智能因此看到市場的趨勢所在，所以決定從邊緣運算端切換到數據中心。
選定公司接下來發展的主軸後，創鑫智能用短短四年就成功打造出AI晶片。創鑫智能的這顆AI晶片的性能是2.44倍，內置16萬個乘加器（MAC）及150MB內存，只需要20Watt，每秒便可進行2,000萬次DLRM推論，為全球唯一可達到每秒單一推論能耗1微焦耳，具備運算速度快、高性能、高省電的特點，並在2022年宣布投產台積電7納米製程。當時， 7納米一片晶片代工價格就超過40萬元，一家大眾都不熟悉的創業公司竟然有能力採用7納米製程，令業界刮目相看。
針對創鑫智能這顆在省電「高能效」拼出世界第一的AI晶片關鍵技術所在，高肇陽分享，英偉達生產的是圖形處理器（GPU），可以做的事情很多很廣，但是創鑫智能做的是特定應用集成電路（ASIC），專門針對推薦系統的軟體、硬體、架構、資料流、精準度等應用，特地優化設計出來的晶片和系統，而系統就包括軟體、PCB加速板、晶片一整套為深度學習量身定做的推薦系統。
外界或許會好奇，創鑫智能的致勝策略究竟是什麼？答案是「鎖定一個特定的目標，把問題的範圍縮小」。高肇陽強調，其實最初並沒有想著要全面性打敗英偉達的性能，反之，他們一開始就是鎖定單點突破，因為MLPerf的評測就像是AI加速運算的奧運會，裡面有很多不同類別的比賽，而英偉達的GPU是十項全能的運動高手，每一項比賽都可以參與到完賽，但是創鑫智能的AI晶片就是鎖定深度學習推薦系統的單項做到最好。
而這家選擇做自己最擅長領域、縮小打擊範圍，並做到最好的創業公司，面對著市場快速的變化，它也已經在規劃下一代的產品，目標就是可以支持更多樣的運算，然後更新種類的推薦系統，以及更好的性能功耗比，並確定仍會持續往推薦系統這條路來走。除了產品的推陳出新，創鑫智能還有另一項重要的目標，那就是期望兩年內員工規模可以擴大到100人，真正地走向世界舞台與國際大廠競爭。
（首圖來源：創鑫智能）
