首頁 > 人文
從1小時到3.5分鐘,Meta新演算法一部手機搞定3D人臉資料採集
由 量子位 發表于 人文2022-12-29
簡介在進一步完善模型的過程中,還需要採集65種特定的表情:最後,該方法輸出的3D人臉頭像不僅能與使用者外觀高度匹配,透過全域性表情空間,還能對其進行進一步的驅動、控制
12分之一小時等於多少分鐘
魚羊 發自 凹非寺
量子位 | 公眾號 QbitAI
搞定這樣的人臉3D建模需要幾步?
在資料採集的階段,答案是:一部手機 + 3。5分鐘。
沒錯,僅憑這3。5分鐘的資料,就足以生成
高保真
、
可驅動
的真實3D人臉頭像。
這項研究來自Meta Reality Labs——就是扎克伯格元宇宙計劃裡的那個核心部門。論文已經被SIGGRAPH 2022接收。
作者提到,這一方法適用於VR應用。
也就是說,在VR的世界裡,以後你可能就不必頂著一張卡通臉登場了。
而是可以方便地與胖友們“真身”相見。
方法原理
實現這一結果的方法框架如下圖所示:
具體而言,分為三個部分。
首先,是要用大型多視角人臉資料集訓練一個超網路
,這個超網路可以透過神經網路解碼器產生專屬於個人的頭像引數。
資料集中的人臉由多視角捕捉系統採集,包括255位不同年齡、性別和種族參與者的面部影象資料。
△左為影象捕獲裝置;右為採集到的人臉
這個捕獲3D人臉的巨型裝置是Meta在2019年研發的,其中配備171個高解析度攝像頭,每秒能記錄180GB資料。採集時間在1個小時左右。
值得一提的是,在這個超網路中,解碼器的基本組成模組是帶有bias map的卷積上取樣層。
這些bias map會被用來生成體積單元,進而透過射線追蹤來渲染頭像。
另外,該解碼器結構能夠將視線與其他面部活動區分開,這在VR應用中意味著能夠更直接地利用眼動跟蹤系統。
其次,是輕量級人臉表情捕捉
。
在這項研究中,採集人臉只需要用到一部帶有深度攝像頭的智慧手機。
實驗中,研究人員採用的是iPhone 12。
採集過程就像這樣:
採集到的資料要進行如下處理:
獲取每一幀人臉影象中的幾何形狀和紋理;
對輸入的RGB影象進行人臉標誌檢測和人像分割;
對模板網格進行擬合和變形,以匹配檢測到的人臉標誌物、分割輪廓和深度圖;
對每一幀影象的紋理進行解包,而後彙總得到完整的人臉紋理。
在進一步完善模型的過程中,還需要採集65種特定的表情:
最後,該方法輸出的3D人臉頭像不僅能與使用者外觀高度匹配,透過全域性表情空間,還能對其進行進一步的驅動、控制。
研究人員表示,整個採集過程大概要花費
3.5分鐘
。
不過需要說明的是,建模的過程不是實時的,資料處理還要花費數小時的時間。
實驗結果
說了這麼多,效果如何,我們還是來看實驗結果。
與Pinscreen提出的“一張照片構建3D數字化身”(CVPR 2021)的方法相比,該方法能生成更具真實感的人臉模型。
而與海德堡大學、慕尼黑工業大學、馬普所等研究機構在
Neural Head Avatars from Monocular RGB Videos
一文中提出的方法相比,該方法能生成保真度更高的結果。
不過,作者也指出了該方法的侷限性:hold不太住長髮和眼鏡,容易產生偽影。另外,該方法對於光照條件也有一定要求。
參考連結:
[1]論文:https://drive。google。com/file/d/1i4NJKAggS82wqMamCJ1OHRGgViuyoY6R/view
[2]Demo:https://www。youtube。com/watch?v=t7_TMD7v0Xs
— 完 —