影片是 NVIDIA Jetson 應用的核心數據通路,覆蓋機器人、智能影片分析、工業自動化、醫療、媒體處理和遠程操控等場景。一套系統可能同時接入多路攝影機、解碼網路流、運行 AI 推理或傳統視覺處理、疊加結果,並將影片編碼後儲存或分發。
各項調用本身並不複雜,工程難點在於針對具體 Jetson 設備選擇合適的接口、編解碼器、像素格式、內存路徑、碼率控制和緩衝策略,並驗證完整鏈路能否滿足延遲、吞吐量和畫質目標。
NVIDIA JetPack 7.1 已在 Jetson Thor 上引入 NVIDIA Video Codec SDK 支持,為 C 和 C++ 開發者提供對 NVIDIA 影片編碼器(NVENC)和 NVIDIA 影片解碼器(NVDEC)的直接、細粒度訪問能力。
JetPack 7.2.1 首次在 Jetson 上新增對 PyNvVideoCodec 2.2 的支持——這是 NVIDIA 面向 GPU 硬體加速影片編解碼的 Python 庫。PyNvVideoCodec 以 GPU 常駐設備內存的形式生產和消費影片幀,通過 DLPack 協議和 CUDA 設備緩衝區對外暴露,並提供多種 AI 流水線友好特性,包括多模式幀採樣、在後台線程中預解碼幀的 ThreadedDecoder(可將解碼延遲與推理延遲解耦,提升流水線效率)。
JetPack 7.2.1 還在上述 SDK 之上構建了基礎性智能體影片技能
。SDK 提供可編程的影片原語,技能層則將開發者意圖與設備發現、支持的配置、可用方案、執行、度量和可復現證據連接起來。兩者協同,加速了 Jetson 上開源模型與智能體的開發,讓每位開發者都能隨時隨地獲得前沿級 AI 性能。
諸如"這塊 Jetson 在低延遲場景下能跑多少路 H.264 1080p30 流?"這類問題,僅靠代碼生成或數據手冊上的參數無法回答,還需要結合已安裝的軟體、目標設備的實際編解碼能力、內存路徑,以及一次受控運行來驗證延遲和吞吐量。
Jetson 影片技能將這一意圖轉化為可重複的編解碼工作流:檢查目標設備、選擇受支持的 Video Codec SDK 或 PyNvVideoCodec 路徑、生成經過測試的配置、執行並返回帶有警告和證據的實測結果。
Jetson 影片技能在 Video Codec SDK 和 PyNvVideoCodec 之上提供智能體工作流層,後兩者使用 NVENC 和 NVDEC 硬體引擎。
JetPack 7.2.1 通過統一的 jetson-videosdk 技能引入了基礎影片工作流。開發者可單獨調用每個工作流,也可將其組合,在更大的流水線中配置和驗證編解碼階段。後續版本將在此基礎上擴展更多覆蓋 Jetson 開發者工作流的技能。
發現、配置並報告能力:識別 Jetson 平台和已安裝軟體,引導完成受支持的配置,並在實時目標上查詢編解碼器、格式、內存路徑和會話能力。
生成編碼器方案:將低延遲、恆定質量、受限碼率、解析度、幀率和編解碼器選擇等目標轉化為明確的參數設置,以及可運行的 Video Codec SDK 或 PyNvVideoCodec 路徑。
性能與質量基準測試:對吞吐量、延遲、利用率、碼率和輸出質量進行可重複的測量。
驗證編解碼工作流:串聯配置、方案選擇、編解碼、度量和產物交接,返回可復現結果所需的配置、結果、警告和證據。
SDK 提供加速影片原語,技能層則增加了設備感知的配置與驗證能力,能夠區分宣傳的能力與目標設備上實際可成功執行的操作,並保存方案、輸入、輸出和測量結果以供復現。
以"解碼這段影片,應用我的 AI 或電腦視覺處理,並驗證編解碼階段是否滿足性能目標"為例,編碼助手使用 Jetson 影片技能配置和驗證 PyNvVideoCodec,而 PyNvVideoCodec 隨附的示例應用則提供參考應用腳手架。
第一步:檢查與配置。編碼助手調用技能,驗證 Jetson 平台、軟體和編解碼能力,然後選擇解碼器、輸出格式、內存路徑和緩衝策略。
第二步:解碼為幀數據。PyNvVideoCodec 示例可在後台線程中準備幀,並將每幀傳遞給幀張量,無需編寫特定於應用的編解碼緩衝代碼。
第三步:完成應用流程。編解碼階段配置完成後,編碼助手可在示例應用基礎上擴展所需階段,例如預處理、檢測或分類、隱私過濾(如模糊處理)、可視化和輸出處理。具體的 AI 或電腦視覺模型及應用邏輯由開發者自行決定。
第四步:度量與驗證。技能記錄編解碼配置,並驗證運行狀態、吞吐量、延遲、利用率、警告和證據。
範圍說明:JetPack 7.2.1 的影片技能覆蓋 Video Codec SDK 和 PyNvVideoCodec,本版本不新增 GStreamer、V4L2、AI 模型或應用級流水線構建技能,僅在編解碼階段對編碼助手形成補充。後續版本中新增的 Jetson 技能可與之組合,支持更廣泛的端到端應用。
Jetson 通過互補的軟體層暴露影片能力:GStreamer 提供高層流水線編排,V4L2 提供 Linux 影片設備和緩衝控制,Video Codec SDK 提供對 NVENC 和 NVDEC 的底層 C/C++ 訪問,PyNvVideoCodec 則在核心 Video Codec SDK API 之上提供更簡潔的 Python 接口。當工作流跨越採集、編解碼、AI 和分發階段時,這些層可以組合使用。
綜合來看,JetPack 7.2.1 為開發者提供了從意圖到證據的更清晰路徑:選擇合適的 Linux、C/C++ 或 Python 接口,讓加速數據儘量靠近 GPU,並使用基礎影片技能配置和驗證 Video Codec SDK 或 PyNvVideoCodec 階段。這一基礎今天已能與編碼助手協同工作,未來還可與更多 Jetson 技能組合,支持更廣泛的端到端應用。
Jetson T3000 在緊湊、高能效的平台上提供 865 FP4 TFLOPS 算力,專為人形機器人和機器人工作負載設計。在多模態 AI 推理性能上與 T5000 相當,同時降低了體積、功耗和成本。藉助 JetPack 7.2.1,開發者現在可以通過 Jetson Thor AGX 開發套件上的 Jetson T5000 模組仿真最新發布的 T3000 性能,快速啟動開發工作。詳細的仿真實現說明請參閱 Jetson Linux 開發者指南。
Q&A
Q1:PyNvVideoCodec 2.2 是什麼?它在 Jetson 上有什麼作用?
A:PyNvVideoCodec 2.2 是 NVIDIA 面向 GPU 硬體加速影片編解碼的 Python 庫,JetPack 7.2.1 首次在 Jetson 上提供支持。它以 GPU 常駐設備內存的形式處理影片幀,通過 DLPack 協議和 CUDA 設備緩衝區對外暴露,支持多模式幀採樣和後台線程預解碼,能將解碼延遲與推理延遲解耦,適合構建 AI 影片處理流水線。
Q2:JetPack 7.2.1 的 Jetson 影片技能具體能做哪些事?
A:Jetson 影片技能提供四類核心工作流:一是發現並報告設備編解碼能力;二是根據低延遲、恆定質量等目標自動生成編碼器配置方案;三是對吞吐量、延遲、碼率等指標進行可重複的基準測試;四是串聯完整編解碼工作流並返回可復現的配置與驗證結果。開發者可單獨使用每個工作流,也可組合使用。
Q3:Jetson T3000 仿真功能是怎麼回事?有什麼用?
A:JetPack 7.2.1 支持在 Jetson Thor AGX 開發套件的 T5000 模組上仿真 T3000 的性能表現。T3000 提供 865 FP4 TFLOPS 算力,專為人形機器人和機器人工作負載設計,功耗和體積更低。通過仿真功能,開發者無需等待實體 T3000 硬體到貨,即可提前基於 T5000 開發套件驗證和開發針對 T3000 的應用。






