谷歌從TensorFlow Lite演進而來的現代化端側推理框架LiteRT，引入了基於下一代GPU引擎ML Drift的高級加速能力。
這一里程碑在1月28日宣布，鞏固了LiteRT作為通用端側框架的地位，並代表著相對前身TFLite的重大飛躍。谷歌表示，LiteRT提供比TFLite快1.4倍的GPU性能，為邊緣平台上的GPU和NPU加速提供統一工作流程，支持生成式AI模型的卓越跨平台部署，並通過無縫模型轉換提供對PyTorch和JAX的一流支持。該公司在去年5月預覽了LiteRT的新加速能力。
谷歌表示，可在GitHub上找到的LiteRT為數十億台設備上每天使用的應用程序提供支持，提供低延遲和高隱私保護。通過新的ML Drift GPU引擎，LiteRT支持OpenCL、OpenGL、Metal和WebGPU，使開發者能夠在移動設備、桌面和網頁端部署模型。在Android平台上，LiteRT會自動優先選擇可用資源以獲得峰值性能，同時回退到OpenGL以實現更廣泛的設備覆蓋。此外，根據谷歌的說法，LiteRT提供了統一簡化的NPU部署工作流程，抽象化了底層的供應商特定SDK，並處理了眾多SoC（片上系統）變體之間的碎片化問題。
LiteRT的文檔可在ai.google.dev上找到。
Q&A
Q1：LiteRT相比TensorFlow Lite有哪些性能提升？
A：LiteRT相比前身TensorFlow Lite實現了顯著的性能提升，GPU性能提升了1.4倍。同時，它提供了統一的GPU和NPU加速工作流程，支持更好的跨平台部署能力，特別是對生成式AI模型的支持，並且通過無縫轉換提供了對PyTorch和JAX框架的一流支持。
Q2：LiteRT的ML Drift GPU引擎支持哪些平台？
A：LiteRT的ML Drift GPU引擎支持多種主流圖形API，包括OpenCL、OpenGL、Metal和WebGPU，使開發者能夠將模型部署到移動設備、桌面和網頁端等不同平台。在Android平台上，系統會自動優先選擇可用資源以獲得最佳性能，同時也能回退到OpenGL以支持更廣泛的設備。
Q3：LiteRT如何解決不同硬體晶片的兼容性問題？
A：LiteRT提供了統一簡化的NPU部署工作流程，將底層供應商特定的SDK進行了抽象化處理，有效解決了眾多SoC（片上系統）變體之間的碎片化問題。這意味著開發者不需要針對不同晶片廠商編寫特定代碼，就能實現跨硬體平台的模型部署。
