在居然裝飾與每平每屋·設(shè)計家“數(shù)字+”產(chǎn)品發(fā)布暨“尋找國民好設(shè)計”設(shè)計挑戰(zhàn)賽(華北區(qū))啟動新聞發(fā)布會上,阿里巴巴每平每屋平臺業(yè)務(wù)負(fù)責(zé)人、每平每屋設(shè)計家CEO石梵正式發(fā)布了每平每屋與淘系技術(shù)合作自研的AI視頻建模技術(shù)及其應(yīng)用產(chǎn)品Object Drawer。Object Drawer是業(yè)界首個基于神經(jīng)渲染的3D建模產(chǎn)品,推理速度相較于nerf算法提升了1萬倍。

基于此項技術(shù),消費(fèi)者不需要依賴特定設(shè)備,只需要手機(jī)環(huán)繞目標(biāo)商品進(jìn)行視頻拍攝,就可以完成自動重建,所生成的三維建模效果達(dá)到高精模型還原度,還能夠把目標(biāo)商品放到自己家的真實(shí)戶型中進(jìn)行展示。

而這個家居黑科技從何而來?背后工具支撐有多強(qiáng)大?讓我們一探究竟。

VR/AR賽道崛起 家居家裝3D建模需求暴漲

元宇宙源于1992年尼爾·斯蒂芬森的《雪崩》,這本書描述了一個平行于現(xiàn)實(shí)世界的虛擬世界,Metaverse,隨著VR/AR應(yīng)用的發(fā)展,在現(xiàn)實(shí)世界家裝家居領(lǐng)域,正在大量地運(yùn)用VR、3D、虛擬現(xiàn)實(shí)等技術(shù),云化的3D拍攝素材庫、場景庫已經(jīng)成為商家的數(shù)字化基建的重要環(huán)節(jié),經(jīng)營者希望解脫了拍攝策劃、3D創(chuàng)作的困擾,云素材能夠信手拈來,隨時開拍。另一方面,市場上家居家裝商品3D建模需求持續(xù)增加,家居家裝商品建模需求可能達(dá)到現(xiàn)在的100倍以上。

目前市面上的商品3D建模主要依賴于手工建模,建模時長需要幾小時甚至幾天時間,費(fèi)用動輒數(shù)百到數(shù)千元,不僅對建模環(huán)境、拍攝設(shè)備提出了諸多要求,為了提升目標(biāo)商品的形狀、紋理、材質(zhì)的展示細(xì)節(jié),還需要大量人工作業(yè)進(jìn)行高精度還原和細(xì)節(jié)修復(fù)。

關(guān)鍵核心技術(shù)突破 推理速度提升10000倍

近幾年,神經(jīng)渲染技術(shù)正在飛速發(fā)展。Google初代的NeRF及其衍生技術(shù)利用神經(jīng)隱式表達(dá)來存儲場景的物理幾何以及材質(zhì)紋理信息,端到端的優(yōu)化渲染效果,但在實(shí)際應(yīng)用中仍存在許多問題,主要包括:第一,推理速度、訓(xùn)練速度慢,1幀高清圖推理時間超過50秒,一個物體的建模時間長達(dá)2天以上。第二,細(xì)致紋理無法還原。第三,部分視角渲染效果不理想。第四,無法直接導(dǎo)入圖形學(xué)工具,不支持顯式使用,例如CAD場景搭配設(shè)計;此外,由于只能還原拍攝場景的光照也使得NeRF模型無法支持環(huán)境光照變化的場景應(yīng)用。

而每平每屋與淘系技術(shù)共研AI視頻建模技術(shù)及其承載產(chǎn)品Object Drawer通過優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu),探索幾何先驗,預(yù)存部分信息,在保證渲染質(zhì)量的前提下,其推理速度可以達(dá)到每秒200幀,在手機(jī)上可達(dá)到每秒30幀,從而實(shí)現(xiàn)了實(shí)時高清可交互的三維模型,且相比NeRF算法推理速度提升了10000倍。模型的訓(xùn)練時間從2天壓縮到僅需要4小時,模型大小僅需要20M,同時,對于任意視角查看,商品3D模型都達(dá)到實(shí)拍照片的展示效果,實(shí)現(xiàn)了3D建模一直追求的自動高精度還原。Object Drawer不需要依賴特定設(shè)備,只需要手機(jī)環(huán)繞目標(biāo)商品進(jìn)行視頻拍攝,就可以完成AI人工智能的自動重建,所生成的3D建模效果達(dá)到高精模型還原度。目前,這項技術(shù)已經(jīng)面向手淘、天貓部分家居家裝商家開放。

攻克復(fù)雜光照遷移、紋理細(xì)節(jié)還原等難題

為了反應(yīng)物理渲染作用于3D粗模型的光照效果,如反射,陰影等,Object Drawer將物理渲染反應(yīng)在物體上的逼真光照效果遷移到神經(jīng)渲染生成的物體視角圖上,通過融合得到具有光照效果的神經(jīng)渲染結(jié)果,進(jìn)一步用得到的帶有光照效果的高清合成圖替代物理渲染結(jié)果中的粗模投影以實(shí)現(xiàn)逼真的場景渲染效果。在實(shí)驗數(shù)據(jù)的結(jié)果表明,Object Drawer能夠適應(yīng)各種復(fù)雜光源條件以及細(xì)節(jié)的陰影效果的遷移,視覺效果遠(yuǎn)超其他替代方案。

(Object Drawer建模時不同光照遷移效果)

在還原紋理細(xì)節(jié)方面,對于家居家裝商品的模型來說,紋理細(xì)節(jié)還原度非常重要,通常需要達(dá)到照片級的還原才能支持實(shí)際渲染相關(guān)產(chǎn)品。Object Drawer優(yōu)化了模型表達(dá),在大幅度加速模型訓(xùn)練時間的同時,第一次做到了高清精細(xì)紋理還原,如布料線條等細(xì)節(jié)都能清晰可見。

(模型與真實(shí)商品紋理細(xì)節(jié)對比圖)

每平每屋與淘系技術(shù)攜手推出基于AI視頻建模技術(shù)的應(yīng)用產(chǎn)品Object Drawer對神經(jīng)輻射場技術(shù)進(jìn)行了全面的改進(jìn)和升級,實(shí)現(xiàn)了家居家裝商品自動化高精度建模流程,未來,每平每屋作為阿里巴巴旗下家居家裝賽道的創(chuàng)新業(yè)務(wù),會持續(xù)加大科研技術(shù)投入,從「商品模型-戶型-設(shè)計」及其他各個步驟,幫助商家、設(shè)計師、消費(fèi)者降低3D場景創(chuàng)作的門檻,將科技注入家裝家居和居住全鏈路的每一個環(huán),以科技優(yōu)化每個人對居住空間的體驗、體感與審美,構(gòu)建數(shù)智化的全新居住模式。