Shap-E圖文轉(zhuǎn) 3D 模型

Shap-E 是 OpenAI 推出的一個用于 3D 資產(chǎn)的條件生成模型。與最近關(guān)于三維生成模型的工作不同的是，Shap-E 直接生成隱式函數(shù)的參數(shù)，這些參數(shù)可以被渲染成紋理網(wǎng)格和神經(jīng)輻射場。

開發(fā)團隊分兩個階段訓(xùn)練 Shap-E：首先，訓(xùn)練一個編碼器，該編碼器確定性地將 3D 資產(chǎn)映射到隱式函數(shù)的參數(shù)；其次，在編碼器的輸出上訓(xùn)練條件擴散模型。當(dāng)在配對的 3D 和文本數(shù)據(jù)的大型數(shù)據(jù)集上進行訓(xùn)練時，生成的模型能夠在幾秒鐘內(nèi)生成復(fù)雜多樣的 3D 資產(chǎn)。

與點云 (point clouds)上的顯式生成模型 Point-E 相比，Shap-E 收斂速度更快，并且盡管對更高維度的模型進行建模，但仍能達到相當(dāng)或更好的樣本質(zhì)量，多表示輸出空間。

看起來像鱷梨的椅子	一架看起來 像香蕉的飛機	宇宙飛船
一個生日蛋糕	一把看起來 像樹的椅子	一個綠色的靴子
一只企鵝	宇部冰淇淋甜筒	一碗蔬菜

更多詳情可參閱 samples.md。