全新Cortex-A320為下一代智能物聯網設備奠定安全基礎
Arm控股有限公司今（27日）發布Armv9邊緣人工智慧（AI）運算平台，該平台以全新的Arm Cortex-A320 CPU和領先的邊緣AI加速器Arm Ethos-U85 NPU為核心，可支持運行超過10億個參數的邊緣端AI模型。
為了快速創新和擴展，OEM廠商需要在合適的位置靈活執行AI工作負載，以實現更強大的安全性和更高的軟體靈活性。Arm此次發布的運算平台集成了全新的超高效率Armv9 CPU—Cortex-A320和支持Transformer運算符網路的Ethos-U85 NPU，打造出全球首個專為物聯網優化的Armv9邊緣AI運算平台。相較於去年推出的基於Cortex-M85的平台，新的邊緣AI運算平台的機器學習（ML）性能提高了八倍。
目前該平台受亞馬遜網路服務公司（AWS）、西門子、瑞薩電子、研華科技和Eurotech等多家業界領先合作夥伴的支持。
亞馬遜網路服務公司物聯網技術負責人Yasser Alsaied指出，Arm新邊緣AI運算平台為我們的客戶實現在Armv9技術上運行AWS IoT Greengrass的輕量設備運行環境──Nucleus Lite，進而讓邊緣設備以最低的內存需求高效率地運行。這兩項技術的無縫集成為開發人員提供了優化的解決方案，支持建購現代邊緣AI應用，例如精準農業中、智能製造和自動駕駛的異常檢測。
Cortex-A320充分發揮Armv9架構的優勢，例如針對ML性能的SVE2。相較於前代產品Cortex-A35，Cortex-A320的ML性能提升十倍，純量性能提升了30%。
該平台所採用的Armv9.2架構還為最小的Cortex-A設備帶來了先進的安全功能，例如指標驗證 （PAC）、分支目標識別（BTI）和內存標籤擴展（MTE）。這一功能相當重要，因為邊緣設備通常在暴露的環境中運行並處理敏感性數據。
此外，Arm將Arm Kleidi擴展到物聯網，這是一套針對AI框架開發人員的運算庫，其目標在於優化基於Arm CPU的AI和ML工作負載，無需開發人員額外操作。
KleidiAI已集成到常見的物聯網AI框架中，如Llama.cpp和ExecuTorch或LiteRT（通過XNNPACK），加速了Meta Llama 3和Phi-3等關鍵模型的性能。例如，在Llama.cpp上運行微軟的Tiny Stories數據集時，KleidiAI為新的Cortex-A320帶來了高達70%的性能提升，協助2,000多萬名開發人員無縫集成領先的AI框架，簡化邊緣AI開發流程。
新的邊緣AI運算平台確保了與高性能Cortex-A處理器在軟體層面的無縫兼容。這種可擴展性使開發人員能夠打造可隨需求變化而靈活調整的解決方案。藉助龐大的Armv9生態系，以及與Linux等功能豐富的作業系統和Zephyr等即時作業系統的兼容性，開發人員擁有了前所未有的靈活性。
預期未來，AI趨勢將轉向邊緣，而全新Arm邊緣AI運算平台將成為新一波物聯網創新的催化劑。該平台能夠支持在基於代理人的AI應用上運行經過調校的大型語言模型（LLM）和小型語言模型 （SLM），進而開闢全新類別的邊緣應用場景。在未來的場景中，智能決策將更接近數據獲取源頭，這不僅能大幅減少延遲，還能有效提升隱私保護水準。
（首圖來源：網路）
