近日，高通宣布與Meta 正在合作優化 Meta Llama 2 大語言模型直接在終端側的執行，不依賴於雲服務的單獨使用。這將使Meta Llama 2 大語言模型從 2024 年開始能夠在智慧型手機、PC、VR/AR 頭顯和汽車等終端上運行。
高通計劃支持基於 Llama 2 的終端側 AI 部署，以賦能打造激動人心的全新 AI 應用。如果大型語言模型可以在手機上運行，而不是在大型數據中心運行，它可以降低運行人工智慧模型的巨大成本，並為用戶提供更加私密、可靠和個性化的體驗。
高通將在高通設備上提供 Meta 的開源 Llama 2 型號，將支持智能虛擬助手等應用程序。Meta Llama 2 可以做許多與 ChatGPT 相同的事情，但它可以打包在一個較小的程序中，這允許它在手機上運行。
高通的晶片包括一個「張量處理器單元」或 TPU，非常適合人工智慧模型所需的各種計算。然而，與配備尖端 GPU 的數據中心相比，移動設備上可用的處理能力相形見絀。
Meta Llama 之所以引人注目，是因為 Meta 發布了它的「權重」，這是一組有助於控制特定 AI 模型如何工作的數字。這樣做將允許研究人員和最終的商業企業在自己的電腦上使用人工智慧模型，而無需徵得許可或付費。其他值得注意的 LLM，如 OpenAI 的 GPT-4 或谷歌 Bard，都是閉源的，它們的權重是保密的。
高通過去曾與 Meta 密切合作，特別是在其 Quest VR 設備的晶片上。它還演示了一些在其晶片上運行緩慢的人工智慧模型，例如開源圖像生成器 Stable Diffusion。
