Au-Zone Technologies 近日宣布推出 EdgeFirst Perception Index（EFPI），這是一項季度性基準測試，旨在衡量完整的 AI 視覺處理流程——從圖像採集到檢測輸出的每個階段——覆蓋開發者日常使用和實際部署的各類硬體平台。
與僅關注推理性能的基準測試或廠商自定義的 TOPS 評分不同，EFPI 在所有目標平台上採用統一的 EdgeFirst Profiler 工具、框架和測試方法，為每項配置發布詳細的性能分析報告，內容涵蓋完整的驗證精度評分、各階段延遲細分、內存與功耗測量，並最終歸納為兩項核心指標：核心吞吐量（去除主機開銷後的加速器峰值性能）和實際吞吐量（已部署流程端到端的真實幀率）。所有測試結果均鏈接至公開的 EdgeFirst Studio 會話，任何人均可免費查看和評估。
YOLO26：首次獨立邊緣端驗證
EFPI 第二季度版本是首個在邊緣 AI 硬體上對 YOLO26 這一最新 YOLO 架構進行獨立驗證的基準測試，測試對象涵蓋獨立 NPU 和集成 SoC 加速器。四個 YOLO 系列（YOLOv5、YOLOv8、YOLO11 和 YOLO26）均在 nano、small 和 medium 模型規格下完成驗證，共產生 330 余份公開的 EdgeFirst Studio 會話記錄。在 NVIDIA Jetson Orin Nano 上，YOLO26n 檢測任務通過 TensorRT 實現了 251 FPS 的實際吞吐量，與同一硬體上的 YOLOv8n 相差不超過 4%，證明新架構在邊緣端幾乎不存在吞吐量損耗。
全平台橫向評測
在基於 YOLOv8n 檢測任務的全平台橫向評測中，Apple M2 Max 通過 CoreML 以 791 FPS 的實際吞吐量位居榜首；搭載 NVIDIA RTX 4060 GPU 的 x86_64 桌面平台通過 CUDA 實現 351 FPS；NVIDIA Jetson Orin Nano Super 通過 TensorRT 達到 260 FPS；四個 YOLO 系列在所有平台上的精度均與 FP32 參考值保持一致。
嵌入式層級覆蓋多款離散與集成 NPU 平台，從低於 7 瓦功耗的邊緣加速器到量產 SoC 模組，可下載報告中包含各階段延遲瀑布圖、各精度級別的精度對比以及能效對比表。
主機端流程開銷是關鍵瓶頸
預處理、內存拷貝和後處理往往在實際吞吐量中占據主導地位。開源的 EdgeFirst SDK 有效消除了這一瓶頸。在 Apple M2 Max 上，該 SDK 通過 CoreML 實現檢測性能 12.8 倍的提升；Jetson Orin Nano 通過 TensorRT 實現 6.8 倍提升；嵌入式 NPU 平台在 YOLOv8n 檢測任務上實現 2 至 12 倍不等的提升——均在相同硬體和相同模型條件下取得。分割任務的提升幅度更為顯著，在同一晶片上最高可達 23 倍。
每瓦性能表現
從每瓦幀率的維度來看，EFPI 中的邊緣 NPU 平台相較桌面 GPU 具有數量級級別的能效優勢，測試基於相同模型和相同 COCO 驗證集。NVIDIA RTX 4060 在 115 瓦 TDP 下實現 351 FPS，約合 3 FPS/W；而低於 7 瓦功耗的邊緣加速器在同一模型上仍可維持實時吞吐量，功耗僅為前者的一小部分。各平台詳細的每瓦性能數據（含遙測資訊）可在可下載報告中查閱。
INT8 精度恢復
邊緣 NPU 平台運行全整數 INT8 計算，量化損耗客觀存在，檢測精度通常下降三至五個百分點。Au-Zone 的 Smart Quantizer 通過圖分割技術解決了這一問題——為每個輸出頭分配獨立的校準範圍，無需重新訓練模型。在 EFPI 覆蓋的嵌入式 NPU 平台上，Smart Quantizer 可將 INT8 模型的檢測精度恢復至與 FP32 參考值相差兩個百分點以內，並在分割任務上恢復高達 24 個百分點的掩碼精度，將原本無法實際部署的默認導出模型轉化為可用的生產級模型。
EFPI 為季度性報告。第二季度版本涵蓋四個 YOLO 系列的目標檢測與實例分割任務；後續版本將擴展至姿態估計和旋轉邊界框任務，並超越驗證性分析，對包含相機、影片和 ROS 2 感知流程的完整場景進行基準測試，涵蓋多模型與多任務工作流。其餘平台與模型組合及新款晶片將隨驗證會話完成後陸續納入。
EFPI 第二季度的性能分析測試在來自 Apple、Intel、NVIDIA、NXP Semiconductors、Ezurio、PHYTEC、Toradex 的設備與平台上進行，AI 模型由 Ultralytics 提供。
Q&A
Q1：EdgeFirst Perception Index 和普通推理基準測試有什麼區別？
A：EFPI 測量的是從圖像採集到檢測輸出的完整 AI 視覺流程，而不僅僅是推理階段。它使用統一工具和方法覆蓋所有硬體平台，提供兩項核心指標：核心吞吐量（加速器峰值性能）和實際吞吐量（端到端真實幀率），還包含各階段延遲細分、內存與功耗數據，比單一的 TOPS 評分或推理測試更能反映實際部署表現。
Q2：YOLO26 在邊緣硬體上的性能表現如何？
A：YOLO26 是首次在邊緣 AI 硬體上獲得獨立驗證的最新 YOLO 架構。在 NVIDIA Jetson Orin Nano 上，YOLO26n 通過 TensorRT 實現 251 FPS 的實際吞吐量，與 YOLOv8n 在同一硬體上的成績相差不超過 4%，說明新架構在邊緣端幾乎沒有額外的性能損耗。
Q3：Au-Zone 的 Smart Quantizer 是如何解決 INT8 量化精度損失問題的？
A：邊緣 NPU 運行 INT8 計算時，檢測精度通常會下降三到五個百分點。Smart Quantizer 通過將模型計算圖進行分割，為每個輸出頭分配獨立的校準範圍來彌補這一損失，且無需重新訓練模型。測試結果顯示，使用 Smart Quantizer 後，INT8 模型檢測精度可恢復至與 FP32 相差兩個百分點以內，分割任務掩碼精度最高可恢復 24 個百分點。
