近日,Google Research聯合華盛頓大學推出一款大模型產品 TryOnDiffusion。只要給它一張自己的全身照,和服裝模特的照片,就能知道自己穿上這件衣服之後是什麼樣子了。主打的就是一個真實。所以,是真人版奇蹟暖暖吧?
其實各種換裝的AI早就有不少了,谷歌的這個AI模型究竟有何突破呢?關鍵就在於,他們提出了一種基於擴散的框架,把兩個Parallel-Unet統一了起來。以往這種模型的關鍵挑戰就在於,如何既保留衣服細節,又能將衣服變形,同時還能適應不同主體的姿勢和形狀,讓人感覺不違和。
以前的方法無法同時做到這兩點,要麼只能保留衣服細節,但無法處理姿勢和形狀的變化,要麼就是可以換姿勢,但服裝細節會缺失。而TryOnDiffusion利用一種被稱為並行UNet的擴散式架構,讓合成的照片可以在保留服飾細節的情況下適應人體的姿勢以及形狀變化。