最近，谷歌推出的一個(gè)新文本生成圖像AI模型DreamFusion ，可以直接將文本轉(zhuǎn)換成3D 模型。（工具網(wǎng)址:dreamfusion3d.github.io）
這個(gè)AI圖像模型是使用的方法是將文本到2D圖像擴(kuò)散的模型與神經(jīng)輻射場（NeRF）相結(jié)合，生成質(zhì)量適合于 AR 項(xiàng)目或作為雕刻的基礎(chǔ)網(wǎng)格的帶紋理3D模型。
根據(jù)官方介紹，最近在文本到圖像合成方面的突破是由在數(shù)十億對圖像-文本訓(xùn)練的擴(kuò)散模型推動(dòng)的。不過，將這種方法應(yīng)用于3D合成需要標(biāo)記3D資產(chǎn)的大規(guī)模數(shù)據(jù)集和高效的3D數(shù)據(jù)去噪方法，這兩種方法目前都不存在。在這項(xiàng)工作中，谷歌研究團(tuán)隊(duì)通過使用預(yù)訓(xùn)練的2D文本到圖像擴(kuò)散模型來執(zhí)行文本到3D合成，從而繞過這些限制。
通過消除對此類大規(guī)模3D數(shù)據(jù)集的需求，DreamFusion模型不需要一組真實(shí)的3D模型來用作培訓(xùn)數(shù)據(jù)，也不需要修改圖像擴(kuò)散模型，這為開發(fā)適用于大眾并且實(shí)用的AI的文本到3D工具鋪平了道路。
比較可惜的是，目前DreamFusion項(xiàng)目的GitHub頁面只支持從原有預(yù)設(shè)文本提示中進(jìn)行選擇，然后顯示生成的3D模型，不支持隨意輸入文本生成模型。
比如給出文本提示，DreamFusion 生成具有高保真外觀、帶紋理的3D 模型。例如輸入文本“一個(gè)非常精細(xì)的松鼠金屬雕塑，穿著金色衣服，正在吹薩克斯”，生成的模型效果如下:
下面一起來看看DreamFusion生成的3D模型效果:
注：本文圖片均來自dreamfusion3d官網(wǎng)截圖。
