近日，OpenAI 研究團隊升級了 3D 生成模型，全新推出了 Shap・E，它是一個用於合成 3D 資產的條件生成式模型。目前相關模型權重、推理代碼和樣本已開源。
Shap・E 並不僅僅只是一個 3D 模型生成器，而且可以直接生成隱式函數（implicit functions）的參數，而這些參數可以渲染紋理網格（textured meshes）和神經輻射場（NeRF）。
這意味著在給定相同的數據集、模型架構和訓練計算的情況下，Shap・E 更優於同類顯式生成模型。研究者發現純文本條件模型可以生成多樣化、有趣的物體，更彰顯了生成隱式表徵的潛力。
OpenAI 展示了 Shap・E 的結果，例如一碗食物，一隻企鵝，一隻體素化的狗，一個篝火，一把鱷梨形的椅子等。整個圖片可以在幾秒內完成渲染。
不同於 3D 生成模型上產生單一輸出表示的工作，Shap-E 能夠直接生成隱式函數的參數。
訓練 Shap-E 分為兩個階段：首先訓練編碼器，該編碼器將 3D 資產確定性地映射到隱式函數的參數中；其次在編碼器的輸出上訓練條件擴散模型。
當在配對 3D 和文本數據的大型數據集上進行訓練時， 該模型能夠在幾秒鐘內生成複雜而多樣的 3D 資產。與點雲顯式生成模型 Point・E 相比，Shap-E 建模了高維、多表示的輸出空間，收斂更快，並且達到了相當或更好的樣本質量。
雖然有諸多優勢，但是Shap-E也有一定的局限性，比如它可以理解許多單個對象，但對於組合的感念認知有限；它可以產生可識別的3D資產，但資產的細節卻十分粗糙。
