宅中地 - 每日更新
宅中地 - 每日更新

贊助商廣告

X

NVIDIA與多倫多大學聯手:讓3D虛擬物體真的會「軟」——無需複雜網格的彈性形變模擬新突破

2026年06月08日 首頁 » 熱門科技

這項由NVIDIA與多倫多大學聯合完成的研究發表於2026年5月,論文預印本編號為arXiv:2605.29318,有興趣深入了解的讀者可通過該編號查詢完整論文。研究團隊提出了一套名為"FreeForm"的全新彈性形變模擬方法,核心思想是用"粒子蒙彼特徵模態"來驅動低自由度的物理仿真,使得各類三維物體——無論是傳統網格模型還是最新的高斯點雲表示——都能在不依賴高質量網格的前提下,快速、準確地模擬出真實的彈性形變行為。

如果你曾經玩過捏泥巴或者橡皮泥,你就大致理解這項研究想解決的問題。當你用手指按壓一塊橡皮泥時,它會凹陷、擴張、回彈,這一切都遵循物理規律。電腦圖形學和機器人仿真領域的工程師們長期以來都希望讓虛擬世界裡的三維物體也能這樣"活"起來——被機器人手臂推一把,就真的會彎曲變形;掉落在桌面上,就真的會輕微彈跳。然而,讓電腦精確模擬這種物理行為,遠比捏泥巴難得多。

傳統上,完成這件事需要一張"網格"——就像給物體內部鋪滿了無數個小三角形或四面體,每一個小單元的形變都需要精確計算。這就好比你想知道一塊海綿被壓縮後每個氣孔的變化,就必須先把每個氣孔都建模出來。這種方法計算量極大,而且對輸入模型的質量要求極高。更麻煩的是,當今流行的三維表示方法——比如"三維高斯點雲"(3D Gaussian Splatting,簡稱3DGS),本質上只是一堆漂浮在空間中的半透明橢圓形小球,根本沒有網格可言,傳統方法對它們束手無策。

FreeForm的出現,就是要打破這一局面。研究團隊的核心洞察是:與其花大力氣建網格、算每一個細節,不如先找出這個物體"最自然的變形方式",然後只用少數幾個關鍵參數來驅動整個仿真。這就像指揮一場交響樂——你不需要控制每位樂手的每一個手指動作,只要指揮好幾個主要聲部的節奏,整首曲子就能流暢演奏出來。

一、三維物體的物理仿真,為何如此棘手

要理解FreeForm解決的問題,得先弄清楚"彈性形變仿真"到底難在哪裡。

一塊真實的橡皮泥被壓下去,它內部每一個微小區域都會發生位移、產生應力。電腦要模擬這個過程,最"笨"但最精確的辦法就是有限元法(FEM)——把物體切成無數個小四面體,每個小四面體的變形都遵循彈性力學方程,然後把所有小四面體的行為加在一起,就得到了整體的形變結果。這種方法非常準確,被公認為彈性仿真的"黃金標準"。

然而,有限元法有兩個根本性的麻煩。第一,它需要高質量的體積網格作為輸入。給一個形狀複雜的三維物體生成這樣的網格,本身就是一項艱難的工程——就像要給一隻章魚的每條觸手內部都填滿整齊的四面體積木,稍有不規則就會導致計算失敗。對於3DGS這樣根本沒有明確表面的表示方法,這個問題更是無從解決。第二,精度高意味著自由度多,自由度越多,每一步計算就越慢。高解析度的有限元仿真往往需要幾分鐘甚至幾小時才能完成一段幾秒鐘的動畫,完全不適合實時應用。

於是,研究者們提出了各種替代方案。材料點法(MPM)和光滑粒子流體動力學(SPH)是其中最流行的兩類"無網格"方法,它們把物體離散成一堆粒子,粒子之間通過核函數相互影響,不需要網格。這兩種方法被廣泛用於仿真3DGS物體,比如PhysGaussian和PhysDreamer這兩個知名系統都採用了MPM。但粒子法也有自己的弱點:當物體被拉伸得很厲害時,粒子之間的距離會超過核函數的作用範圍,仿真就會出現"數值斷裂"——明明是一塊完整的橡皮泥,電腦卻認為它裂開了。而且粒子法對時間步長和空間解析度都非常敏感,參數選不好就會計算爆炸。

另一條路是"降階仿真"(reduced-order simulation)。這個思路的核心是:既然物體在現實中的變形方式是有規律的,那能不能提前學好這些規律,然後仿真時只用少數幾個"旋鈕"來控制整體變形?這就像給物體的變形方式做了一個高度壓縮的描述——原來需要一萬個數才能描述清楚的變形,現在用三十二個數就夠了,計算速度自然快得多。

降階仿真中最關鍵的概念是"蒙皮權重"(skinning weights)。你可以把它理解成一套"遙控規則":物體被分成幾個區域,每個區域由一個"控制點"負責。當你移動控制點時,周圍的區域就跟著變形,距離控制點越近,變形越大,越遠越小。這就像皮影戲——幾根細線控制著整個皮影的所有動作,你只需要拉動幾根線,就能讓皮影做出各種姿勢,而不需要單獨控制皮影的每一個部位。

在降階仿真領域,最近有一個重要工作叫做Simplicits,它的思路是用神經網路來學習蒙皮權重。給定任意一個三維物體,Simplicits先訓練一個小型神經網路,讓這個網路學會如何把空間中的任意一點映射到一組權重數值,然後用這些權重來驅動仿真。Simplicits不需要網格,只需要能判斷一個點在不在物體內部即可,因此理論上適用於各種三維表示。但它也有兩個明顯的缺陷:每個新物體都要重新訓練網路,訓練過程耗時不短(平均約兩分鐘);而且訓練是基於隨機採樣變形來最小化彈性能量,這種優化方式容易陷入局部最優,導致仿真精度不夠高。

FreeForm的目標,就是同時解決速度和精度這兩個問題。

二、RKPM:給粒子加一套更聰明的"影響規則"

FreeForm的第一個關鍵工具是"再生核粒子法"(Reproducing Kernel Particle Method,簡稱RKPM)。這個名字聽起來很專業,但背後的直覺其實很簡單。

回到皮影戲的比喻。普通的粒子法就像最原始的皮影控制方式:每根線只影響它直接綁定的那個部位,線和線之間完全獨立。這樣的控制方式很簡單,但效果粗糙,皮影的動作會顯得生硬不連續。更聰明的做法是讓每根線的影響以一種平滑的方式"擴散"到周圍,而且這種擴散方式要滿足某種數學上的"再生性"——確保多根線的影響加在一起時,能夠精確重現一些基本的運動模式,比如整體平移和旋轉。

具體來說,RKPM在普通徑向基函數(RBF,一種常見的平滑插值方法)的基礎上加入了"修正項"。普通的RBF就像一堆圓形的影響泡泡,每個粒子控制自己泡泡內的區域,泡泡邊緣的影響隨距離增加而衰減。但這種簡單的泡泡疊加方式有個問題:如果你想讓整個物體做一個純粹的平移運動,理論上所有點的位移應該完全相同,但普通RBF的加權方式未必能保證這一點,尤其在粒子分布不均勻時會出現誤差。RKPM通過引入一個修正函數C(X),使得核函數滿足"再生條件"——即多項式函數(包括常數和線性函數)能被這套核函數精確重現。

研究團隊通過一個直觀的對比實驗展示了這一點:在同一套粒子分布上,普通RBF和帶有歸一化的RBF(partition-of-unity RBF)計算出的第一個非零拉普拉斯特徵模態(可以理解為最基本的彎曲方式)形狀參差不齊、凹凸不平;而RKPM計算出的特徵模態則近乎完美地呈現出平滑的線性場,與理論預期完全吻合。這個差異至關重要——蒙皮權重的質量直接決定了仿真的精度。

三、彈性特徵模態:找到物體"最自然的變形方式"

找到了RKPM這個好用的工具之後,FreeForm的第二個關鍵步驟是"特徵模態分析"(eigenmode analysis)。這一步的目標,是找出物體在彈性約束下"最自然、最高效"的一組變形方式,用它們來構建蒙皮權重。

可以用音叉來理解這個概念。當你敲擊一把吉他時,琴弦會振動,但它不會以任意隨機的方式振動,而是以一系列固定的模式振動——最基本的模式是整根弦同向擺動,然後是弦分成兩半相向擺動,再是三等分,以此類推。這些固定的振動模式就叫做"特徵模態"或"本徵模態"。對於弦來說,第一個特徵模態需要最少的能量就能激發,第二個需要稍多,以此類推。

彈性固體的變形方式也有類似的特徵模態。一根細長的橡皮棒,最自然的彎曲方式是整體彎成一個弧形(第一模態),其次是彎成S形(第二模態),再是W形(第三模態)。這些模態不是人為規定的,而是由物體的形狀和材料屬性共同決定的——需要最少彈性能量的那些變形方式,自然就是物體"最願意"發生的形變。

FreeForm的做法是:用RKPM把彈性勢能的黑塞矩陣(Hessian matrix,可以理解為描述能量彎曲程度的數學對象)顯式地算出來,然後對這個矩陣做廣義特徵值分解,取出前m個對應最小特徵值的特徵向量,把它們作為蒙皮權重的節點值。這m個特徵向量,就是這個物體在彈性意義下最"省力"、最"自然"的m種變形模式。

研究團隊還推導出了一個簡潔的數學表達式,專門用於計算Neo-Hookean彈性能量(一種常用的超彈性材料模型,能模擬橡膠、軟組織等的大變形行為)的黑塞矩陣。結論是:權重空間黑塞矩陣H_w的第(i,j)個元素,等於材料係數(λ+4μ)乘以兩個RKPM基函數梯度的內積在整個體積上的積分。對於材料均勻的情況,這個係數可以提到積分外面,黑塞矩陣就直接正比於RKPM的弱形式拉普拉斯矩陣——這意味著在均勻材料下,彈性特徵模態就是拉普拉斯特徵模態,與經典模態分析中的概念完美統一。對於材料不均勻的情況,FreeForm的方法可以被理解為一種"材料感知的拉普拉斯特徵模態",能夠自動在剛度分布中找到最合適的變形模式。

這一推導的重要性在於:整個黑塞矩陣的計算完全是解析的、顯式的,不需要任何疊代優化,只需要一次矩陣組裝加一次特徵值分解,就能得到高質量的蒙皮權重。這與Simplicits需要訓練神經網路形成了鮮明對比。

四、從權重到仿真:低自由度的彈性時間步進

有了蒙皮權重,仿真階段就相對直接了。FreeForm沿用了蒙皮變形的經典框架,用"線性混合蒙皮"(Linear Blend Skinning,LBS)描述物體的變形:物體上每一個點的新位置,等於原始位置加上所有m個控制變換的加權疊加,權重就是之前計算出的蒙皮函數在該點的取值。

每一個時間步,仿真器需要求解一個"增量勢能最小化"問題——找到使得慣性能量、彈性勢能和外力勢能之和最小的那組仿真自由度。這個問題用牛頓法疊代求解,每次疊代需要計算梯度和黑塞矩陣(在仿真階段是針對仿真自由度的,不同於訓練階段的權重空間黑塞矩陣)。由於自由度從成千上萬個頂點壓縮到了只有m個仿真參數(m通常取6到32),每一步的線性系統規模極小,求解速度極快。

整個仿真流程完全基於拉格朗日描述(即跟蹤物質點的運動,而非歐拉描述的網格固定),形函數在整個仿真過程中保持不變,可以使用完全隱式的時間積分,時間步長不受CFL條件(一種數值穩定性約束)的限制,這是相對於MPM和SPH的又一項優勢。

五、實驗驗證:從標準梁測試到真實三維場景

研究團隊進行了系統全面的實驗,從經典力學基準測試到複雜三維場景都有覆蓋。

最基礎的測試是"懸臂樑"實驗——一根5米×1米×1米的長方體梁,一端固定,另一端自由,觀察它在重力下彎曲和在扭矩下旋轉的行為,並以有限元法的結果作為"標準答案"。在彎曲測試中,當使用32個仿真變換時,FreeForm的歸一化均方誤差(MSE)達到2.93e-06,而Simplicits在相同條件下為1.17e-04,FreeForm的精度比Simplicits高出約四十倍。在扭轉720度的極端測試中,FreeForm(32個變換)的MSE為6.64e-06,Simplicits為4.21e-05,仍然有約六倍的精度優勢。視覺對比也非常直觀:FEM的半透明參考結果疊加在各方法結果上,FreeForm的變形輪廓與FEM幾乎完全重合,而Simplicits則有明顯的偏差。

更重要的是,隨著仿真變換數量從6個增加到32個,FreeForm的精度持續提升,並在較多變換時能夠接近甚至超過MPM和SPH這兩種全自由度方法的精度——而FreeForm使用的自由度只有MPM和SPH的極小一部分。

為了驗證方法在多樣化物體上的泛化性,研究團隊從Thingi10K數據集(一個包含各類三維列印模型的在線資料庫)和Simready數據集(由藝術家創作的真實物體網格)中分別選取了20和19個形狀,針對三種邊界條件(固定一側、向四個最遠點拉伸、沿最長軸兩端拉伸)分別進行了仿真評估。對於Thingi10K,研究團隊根據物體的語義類別手動分配了楊氏模量(有機體類約10^5帕,其他類約10^8帕),而對於Simready,他們使用了另一個工具VoMP預測出每個物體的體積物理參數(包括楊氏模量、泊松比和密度),並用同樣的參數運行FEM作為參考。

在這個大規模評估中,FreeForm在所有三種邊界條件下的MSE和最大誤差都比Simplicits低約20%到40%,而訓練時間從Simplicits的平均約120秒驟降到約3.5秒,實現了大約40倍的加速。這個加速來自於FreeForm的本質優勢:計算一次矩陣並做特徵值分解,遠比訓練一個神經網路快得多,而且結果的正交性是精確滿足的(數值誤差級別),而Simplicits只能通過損失函數中的軟約束項近似保證正交性。

研究團隊還額外計算了一個"基底擬合殘差"指標——把FEM的仿真軌跡投影到各方法給出的蒙皮基底上,看最優擬合的誤差是多少。這個指標衡量的是蒙皮權重的"表達能力",而不受動力學積分誤差的影響。結果同樣顯示FreeForm的基底能更好地解釋FEM的仿真結果,進一步證明了特徵模態方法在構建物理相關蒙皮基底上的優越性。

研究團隊還測試了一個更有挑戰性的異質材料案例:一個由四層交替剛軟材料(楊氏模量分別為10^7和10^4帕,相差一千倍)構成的球體被丟到地面上。FreeForm能夠捕捉到軟層的大幅壓縮和剛層相對較小的變形,呈現出明顯的分層動力學行為;而Simplicits只能給出整體剛性的全局變形,完全看不出層與層之間的差異。這正體現了材料感知特徵模態的優勢——它的黑塞矩陣在每個積分點都包含了該點的材料參數,自然地把剛軟差異編碼到了基底里。

六、消融實驗:每個設計選擇都有其必要性

為了驗證各個設計決策的合理性,研究團隊做了詳細的消融實驗,系統比較了不同訓練策略的效果。

第一個比較是損失函數:用Simplicits的"隨機變換期望彈性能量"還是FreeForm的"黑塞矩陣近似"?在同樣使用RKPM參數化的前提下,黑塞矩陣方式的精度明顯更高,原因在於彈性能量的期望值最小化本質上是對所有可能變形的全局平均,而黑塞矩陣方法直接針對的是小變形時最需要優化的能量方向,物理針對性更強。

第二個比較是積分點採樣:每次疊代隨機採樣(如Simplicits)還是固定均勻網格採樣(如FreeForm)?結果顯示,固定均勻網格採樣的精度更高,因為均勻分布能更準確地近似體積積分,而隨機採樣在有限次疊代內會有統計噪聲。

第三個最關鍵的比較是同樣用黑塞矩陣加均勻採樣,但用梯度優化求解(類似Simplicits的框架)與直接求解廣義特徵值問題。這兩種方式的精度幾乎相同,但特徵值求解法的訓練時間僅約4秒,而梯度優化法約需146秒——快了接近40倍,而且特徵值分解給出的權重滿足精確正交性,有利於仿真階段牛頓法的數值條件。

此外,研究團隊也驗證了在仿真階段,FreeForm的結果對積分點採樣方式(均勻網格vs隨機均勻)的敏感度與Simplicits相當,兩者都會因採樣方式不同而有所波動,但FreeForm在兩種採樣策略下都保持了更低的絕對誤差。

七、應用展示:高斯點雲、大規模場景與機器人仿真

除了定量評估,研究團隊還展示了FreeForm在多種實際場景中的定性效果。

在三維高斯點雲(3DGS)物體仿真方面,研究團隊展示了多個掃描自真實物體的3DGS模型——包括玩具、食物、裝飾品等——在FreeForm驅動下的彈性形變動畫,物體的外觀細節(由高斯點雲決定)與物理行為(由FreeForm決定)協調一致,視覺效果自然真實。

在大規模場景方面,研究團隊演示了13個不同的3DGS物體同時被丟進一個容器的互動仿真,以及18個高斯點雲狗玩具通過彈珠機(plinko machine)落下的過程。這類包含多個物體互動的場景對仿真系統的魯棒性和效率提出了很高要求,FreeForm在保持實時性的同時完成了這些複雜場景的仿真。

在機器人仿真方面,研究團隊展示了機械臂與多個3DGS物體發生接觸和交互的仿真過程,這對物理AI領域的訓練數據生成和機器人操作規劃有直接的應用價值。

值得一提的是,研究團隊還展示了如何利用FreeForm計算柯西應力張量並可視化應力分布。通過將第一皮奧拉-基爾霍夫應力張量轉換為變形構型下的柯西應力張量,可以清晰地看到扭轉梁內部的三個主應力分量的空間分布,為結構力學分析提供了直觀工具。

八、局限性與未來方向

FreeForm是一個很有價值的進步,但研究團隊也誠實地指出了它的局限性。

作為降階模型的共同局限,FreeForm難以表現高頻的局部細節(如布料上的細小皺褶),因為全局蒙皮基底本質上是平滑的低頻變形模式。遇到尖銳接觸或大幅非線性效應時,基於線性化黑塞矩陣推導的基底也會遇到挑戰,因為這個基底是在靜止位置附近線性展開的,對大變形的表達能力有限。默認情況下FreeForm也不支持拓撲變化(如斷裂),這是大多數降階方法的共同局限。

RKPM自身也帶來了一些特殊要求:核半徑、採樣密度和粒子分布都需要仔細調整才能保證基底質量;對於沒有明確內外判斷的表示(如3DGS),直接用高斯點作為積分點可能引入一定誤差;系統對這些參數的敏感性高於神經網路方法(後者在一定程度上對採樣策略更魯棒)。

這些局限性也指向了未來的研究方向:將降階基底與接觸處理的精細化方法相結合;探索能夠捕捉高頻細節的層次化基底;以及進一步提升對各類三維表示的適應能力。

歸根結底,FreeForm做的事情是這樣的:它找到了一把更聰明的"遙控器",用數學上最優的幾個旋鈕,就能驅動三維物體做出符合物理規律的變形動作。這把遙控器不需要花兩分鐘學習(Simplicits要這麼久),而是幾秒鐘就能設計好;它驅動出來的動作不僅看著對,而且和精確的有限元法對比,誤差也更小。對於機器人訓練、遊戲物理、虛擬現實內容製作來說,這意味著更快的流程、更高的質量,以及對各種新型三維表示方式的原生支持。

---

Q&A

Q1:FreeForm和有限元法(FEM)相比,哪個更準確?

A:有限元法是彈性仿真的"黃金標準",精度最高,FreeForm以FEM結果作為參考基準來評估自己。在低自由度(如6-9個變換)時,FreeForm的精度不及FEM;但當變換數量增加到32個時,FreeForm的誤差可以接近甚至優於MPM、SPH這類全自由度方法,同時運行速度遠快於FEM。

Q2:FreeForm能用於沒有網格的3D高斯點雲(3DGS)物體仿真嗎?

A:可以。FreeForm只需要能在物體體積內採樣積分點,對於有明確內外判斷的網格模型,會先過濾掉外部點;對於3DGS這類沒有明確表面的表示,可以直接將高斯點本身作為積分點使用(必要時降採樣以避免內存溢出),因此天然支持3DGS物體的彈性仿真。

Q3:FreeForm的訓練階段需要多長時間,比Simplicits快在哪裡?

A:FreeForm的訓練階段(構建RKPM核函數、組裝黑塞矩陣和質量矩陣、做廣義特徵值分解)平均約3到4秒,而Simplicits需要約120秒。快的根本原因是FreeForm用解析方法直接求解一個廣義特徵值問題,不需要反覆疊代優化神經網路,因此大約快了40倍,同時權重的正交性也能精確滿足。

宅中地 - Facebook 分享 宅中地 - Twitter 分享 宅中地 - Whatsapp 分享 宅中地 - Line 分享
相關內容
Copyright ©2026 | 服務條款 | DMCA | 聯絡我們
宅中地 - 每日更新