近日， ECCV'24在意大利米蘭如期舉辦。在本次大會上，華為云技術創(chuàng)新部-媒體創(chuàng)新Lab和上海交通大學星空人工智能研究院合作發(fā)表論文《Topo4D: Topology-Preserving Gaussian Splatting for High-Fidelity 4D Head Capture》！
論文提出首個基于三維高斯?jié)姙R的自動動態(tài)人臉幾何和紋理重建框架，能夠直接從多視角視頻中重建拓撲一致的幾何表面和包含毛孔級細節(jié)的動態(tài)8K紋理貼圖，無需人工操作，加速傳統(tǒng)流程數(shù)十倍。
ECCV全稱為European Conference on Computer Vision（歐洲計算機視覺國際會議），是計算機視覺領域中最重要和最具影響力的國際會議之一，與ICCV（國際計算機視覺大會）和CVPR（計算機視覺與模式識別會議）并稱為計算機視覺領域的“三大頂會”。ECCV每兩年舉辦一次，本屆會議共收到12000余篇投稿，有2395篇文章被接收，錄用率僅19.96%。
4D人臉重建旨在從視頻中生成動態(tài)拓撲網(wǎng)格和相應的紋理貼圖，由于其能夠模擬真實的面部肌肉抖動、毛孔擠壓和褶皺，被廣泛用于電影、游戲等產(chǎn)業(yè)。當前業(yè)界常用的傳統(tǒng)方法大多基于多目立體視覺和非剛性配準技術，這種方法易于出錯且需要專業(yè)藝術家耗費大量時間進行手工修飾?，F(xiàn)有的基于深度學習的方法大多需要大量昂貴的數(shù)據(jù)用于訓練，難以擴展到新的拍攝系統(tǒng)和訓練集中未出現(xiàn)的表情，且?guī)g一致性較差。
為了解決上述問題，本文提出了Topo4D，在跟蹤動態(tài)三維高斯運動的同時保持穩(wěn)定的拓撲關系，實現(xiàn)快速的高質量動態(tài)人臉重建。
▲Topo4D論文介紹，方法能夠生成高保真幾何和紋理，同時支持重打光和重定向應用
Topo4D提出了高斯網(wǎng)格（Gaussian Mesh），通過將高斯點綁定到網(wǎng)格頂點將三維人臉表示為一組具有固定拓撲關系的動態(tài)三維高斯點集，并在每一幀執(zhí)行交替幾何和紋理優(yōu)化實現(xiàn)高質量的幾何和紋理學習。
為了在優(yōu)化三維高斯的同時保持穩(wěn)定的拓撲和良好的布線，Topo4D利用一組基于物理先驗的損失建模高斯點的三維運動，實現(xiàn)了長距離頂點跟蹤。除此之外，Topo4D還借助基于拓撲先驗的損失從高斯點集中提取高質量網(wǎng)格。
為了學習真實的毛孔級紋理顏色，并從高斯點集中生成高分辨率紋理貼圖。Topo4D提出了UV空間稠密化方法，在不打破預定義的拓撲和UV關系的情況下建立稠密高斯網(wǎng)格，將真實稠密紋理顏色正確映射到UV貼圖空間中。
▲Topo4D框架示意圖
大量的實驗表明，Topo4D在網(wǎng)格和紋理質量方面都優(yōu)于現(xiàn)有的三維人臉重建方法，同時具有更好的可擴展性、可泛化性和時間一致性。加速了傳統(tǒng)方法數(shù)十倍且無需人工操作。
華為云媒體創(chuàng)新Lab與國內外頂尖高校建立合作關系，致力于研發(fā)基于下一代計算與顯示平臺的4D Avatar技術，已深度開展基于三維高斯?jié)姙R的數(shù)字人及AIG3D等相關領域的創(chuàng)新性研究。具體研究方向除本論文涉及的高質量動態(tài)人臉重建外，還包括多模態(tài)控制的數(shù)字人動作驅動，數(shù)字人屬性編輯，和高保真數(shù)字人重打光等。該方向的研究成果后續(xù)將被應用在XR眼鏡、裸眼3D等前沿設備上，為用戶帶來更真實的虛擬交互體驗。
星空人工智能技術網(wǎng) 倡導尊重與保護知識產(chǎn)權。如發(fā)現(xiàn)本站文章存在版權等問題，煩請30天內提供版權疑問、身份證明、版權證明、聯(lián)系方式等發(fā)郵件至1851688011@qq.com我們將及時溝通與處理。?。?a href="/">首頁 > AI美學 » 首個基于3DGS的高質量動態(tài)人臉重建！華為云論文在頂會ECCV'24發(fā)布
華為云張宇昕：云原生與AI將激發(fā)七大