隨著人工智慧（AI）不斷對我們的日常生活產生越來越大的影響，其推理任務也逐漸從雲端遷移到邊緣側和端側。
Arm物聯網事業部業務拓展副總裁馬健告訴記者，將計算資源部署於邊緣和終端，在提升響應速度與可靠性、節省帶寬資源、保護隱私與數據安全，以及降低成本等方面都具有明顯優勢。
近日，Arm宣布推出Arm Ethos-U85神經網路處理器（NPU），以及全新物聯網參考設計平台——Arm Corstone-320，以加速實現語音、音頻和視覺系統的部署，促進未來多模態智能應用的全方位部署。
Arm第三代面向邊緣AI的NPU產品
物聯網的興起極大推動了邊緣計算設備的普及，這些系統開始具備更強的處理能力和連接性，使得數據處理更加靠近數據源。隨著機器學習（ML）和AI技術的發展，智能設備不僅能夠執行任務，還能夠學習和適應。
近來，伴隨著Transformer與大模型的發展，AI模型的普適性、多模態支持，以及模型微調效率都有了質的突破，加上低功耗的AI加速器和專用晶片被集成到終端設備中，邊緣智能正變得越來越自主和強大。
Arm多年來不斷開發邊緣AI加速器，以滿足邊緣側和端側不斷增長的推理工作負載需求。此前兩款成功的NPU產品——Arm Ethos-U55和Ethos-U65，為邊緣側和端側AI應用帶來了高性能、高能效的解決方案。
與上一代產品相比，Ethos-U85性能提升四倍，能效提高20%，同時，其MAC單元可從128個擴展到2048個（在1GHz時，算力實現4TOPs），能夠為諸如工廠自動化和商用或智能家居攝像頭等需要更高性能的應用提供有力的支持。
Ethos-U85提供了與前幾代 Ethos U 系列相同的一致工具鏈，因此合作夥伴能夠利用現有的投資，達到無縫的開發者體驗。更重要的是，全新Ethos-U85 NPU支持了TensorFlow Lite和PyTorch等AI框架。
於2017年問世的Transformer架構徹底改變了生成式AI，並成為許多新型神經網路的首選架構。Transformer架構將推動新的應用，特別是面向視覺和生成式AI用例中，對於理解影片、填充圖像的缺失部分或分析來自多個攝像頭的數據以進行圖像分類和目標檢測等任務非常有效。
大模型在邊緣AI落地面臨模型成熟度、邊緣AI平台開發等挑戰，而Ethos-U85 可原生支持Transformer架構和卷積神經網路（CNN）以實現AI推理。
隨著微處理器被部署到諸如工業機器視覺、可穿戴設備和消費者機器人等更多高性能的物聯網系統中，Ethos-U85專為與Arm領先的Armv9 Cortex-A CPU相結合而設計，以加速處理ML任務，並為更廣泛的更高性能設備提供高能效的邊緣推理能力。
迄今，Arm Ethos NPU系列產品已有逾20家授權許可合作夥伴，其中，Alif Semiconductor和英飛凌是全新Arm Ethos-U85 NPU的早期採用者。
全新物聯網參考設計平台
隨著語音、音頻和視覺功能融合到物聯網（IoT）中，物聯網設備與其周圍環境交互、解讀和感知的方式發生了徹底的變化。從前難以想像的廣泛新應用和功能正逐步被發掘。而這將推動物聯網設備和技術實現重大的創新與變革。
邊緣AI既帶來了機遇，也帶來了挑戰。在設計邊緣AI晶片和系統時，需要在計算能力和能效之間找到合適的平衡。高性能的處理能力往往伴隨著更高的功耗，而邊緣設備往往對功耗和成本都有著嚴格限制。
馬健表示，Arm架構天然具備優異的能效。在產品設計中實現低功耗設計是Arm與生俱來的DNA，能幫助廣大的合作夥伴降低能耗和成本。
與此同時，隨著越來越多的數據在邊緣被處理，數據安全和隱私保護變得尤為重要。這要求晶片設計必須包含加密和安全功能。邊緣用例五花八門，傳統物聯網市場存在碎片化，為了更好地統一多樣化的應用要求，達到規模化效益，軟體定義和適於軟體移植的標準更是必不可少。Arm在IP、參考設計和軟體標準上持續投入，從而幫助整個邊緣AI生態應對這些挑戰。
Arm一貫秉承構建通用計算平台和生態的策略，不僅平衡性能與能效，更將軟體的可擴展性和系統應用的開發成本作為一個關鍵的考量因素，進而助力生態系統合作夥伴實現最低的總擁有成本（TCO）。
「我們認為只有普適性的通用計算平台才可能達到規模化，進而更好地實現豐富的軟體支持。期待未來通過大模型和多模態，物聯網碎片化問題可以得到更好的改進，AI會從一個單一功能到多功能，甚至是向通用 AI 的方向演進，這樣的演進方式也非常適合搭載Arm推出的通用處理器，不管是嵌入式處理器還是應用處理器，還是處理器上實現的統一的工具鏈以及對作業系統（OS）和中間件的軟體支持。」馬健說。
Arm Corstone-320物聯網參考設計平台集成了Arm最高性能的Cortex-M CPU——Cortex-M85、Mali-C55 ISP和全新的Ethos-U85 NPU，為語音、音頻和視覺等廣泛的邊緣AI應用提供所需的性能，例如實時圖像分類和目標識別，或在智能音箱上啟用具有自然語言翻譯功能的語音助手。
該參考設計平台涵蓋了軟體、工具和支持，其中包括Arm虛擬硬體。該平台的軟硬體結合特性將使開發者能夠在物理晶片就緒前便啟動軟體開發工作，從而加速推進產品進程，為日益複雜的邊緣AI設備縮短上市時間。
馬健表示，軟硬體必須協同工作才能釋放AI處理的最大潛能。Arm不僅僅聚焦處理器IP，更是在軟體與工具鏈方面加強投資，以滿足更簡單、快速的高性能邊緣AI系統的開發需求，支持諸多AI算子與應用在Arm計算平台上的優化運行，使邊緣AI在Arm平台上「枝繁葉茂」。
展望AI加速器的未來，AI正處於非常迅速的發展初期，尤其是邊緣AI。Arm將持續通過強大的產品組合，對新的Transformer模型提供原生的支持，對工具鏈保持一致、易用的特性，幫助整個物聯網生態更容易實現AI和ML的轉型。
