音頻秒生全身虛擬人像，AI完美驅(qū)動面部肢體動作！UC伯克利Meta提出Audio2Photoreal

新智元報道編輯：拉燕【新智元導讀】最近，來自Meta和UC伯克利的研究人員，發(fā)布了一種最新的音頻到人像模型。操作簡單，輸出極致逼真。就在最近，Meta和UC伯克利聯(lián)合提出了一種全新的虛擬人物形象生成的方法——直接根據(jù)音頻生成全身人像，效果不僅逼真，還能模擬出原音頻中包含的細節(jié)，比如手勢、表情、情緒等等。論文地址：https://arxiv.org/abs/2401.01885話不多說，直接上圖。可以看到，人像刷地一下就出來了，十分逼真。而且從上面的文字對話可以看到，就是在講可以用音頻生成虛擬人像這件事。講者的手勢動作真的像是在做講解。音頻到Avatar，一步！這個系統(tǒng)不光可以生成全身逼真的形象，人像還會根據(jù)二人互動的對話動態(tài)做出手勢。給定語音音頻后，音頻會為一個人輸出多種可能的手勢動作，包括面部、身體和雙手等部位。Meta表示，方法的關鍵就在于將矢量量化帶來的樣本多樣性優(yōu)勢與通過擴散獲得的高頻細節(jié)相結(jié)合，從而生成更具動態(tài)和表現(xiàn)力的動作。研究團隊使用了高度逼真的人像，將生成的運動可視化。這些頭像可以表達手勢中的關鍵細微差別（如譏笑和傻笑）。為了促進這一研究方向，Meta首次引入了一個叫作多視角對話數(shù)據(jù)集的玩意兒，可以讓用戶進行逼真的重建。實驗表明，Meta的新模型能生成恰當且多樣化的手勢，從性能上講，要優(yōu)于擴散和純VQ的方法。此外，在研究過程中，Meta在感知評估這一塊強調(diào)了逼真度在準確評估對話手勢中所包含的微妙運動細節(jié)方面的重要性。Meta已將代碼和數(shù)據(jù)集公開發(fā)布在了網(wǎng)站上。具體來看，要實現(xiàn)這個最終結(jié)果，有以下6個步驟：一個新穎、豐富的二元對話數(shù)據(jù)集，可以進行逼真的重構(gòu)。由三部分組成的運動模型：面部運動模型、引導姿勢預測器和身體運動模型。給定音頻和預訓練唇語回歸器的輸出，Meta訓練一個條件擴散模型來輸出面部運動。對于身體部分，Meta將音頻作為輸入，并以1fps的速度自回歸輸出VQ-ed引導姿勢。然后，將音頻和引導姿態(tài)傳遞到同一個擴散模型中，以30 fps的速度填充高頻率的身體運動。最后，生成的面部和肢體運動都會傳入Meta訓練過的人像渲染器，生成逼真的人像。然后，成品就有了！Meta在博客中列舉了四個比較有特色的點，以此來凸顯效果的逼真和模型的強大。甩腕表示梳理要點；講故事時聳肩。表達「它們的發(fā)生肯定是有原因的」時，強調(diào)手臂的動作；用手指的動作來表示陳述。通過手部動作來配合談話，以及聲音的起伏。??提問時手指的動作細節(jié)；想問題時頭向后仰，做思考狀；回答時手向外推。論文經(jīng)過前面的介紹，整個流程大家估計已經(jīng)很熟悉了。無非就是，音頻輸入、中間過程，以及最終輸出。關于對話的原始音頻，Meta引入了一個模型（上面提到過），該模型能為兩人中的其中一人生成相應的逼真面部、身體和手部動作。研究人員從記錄的多視角數(shù)據(jù)中提取潛在表情代碼來表示面部特征，并用運動骨架中的關節(jié)角度來表示身體姿勢。該系統(tǒng)由兩個生成模型組成，在輸入二人對話音頻的情況下，生成表情代碼和身體姿勢序列。然后，就可以使用Meta的神經(jīng)人像渲染器，逐幀渲染表情代碼和身體姿勢序列。首先，臉部與輸入音頻的相關性很強，尤其是嘴唇的運動，而身體與語音的相關性較弱。這就導致在給定的語音輸入中，肢體手勢的合理性更加多樣化。其次，由于在兩個不同的空間（學習到的表情代碼與關節(jié)角度）中表示面部和身體，因此它們各自遵循不同的時間動態(tài)。因此，研究人員選擇用兩個獨立的運動模型來模擬面部和身體。這樣，臉部模型就可以將其能力用于生成與語音一致的臉部細節(jié)，而身體模型則可以專注于生成多樣但合理的身體運動。此外，面部運動模型是一個擴散模型，以輸入音頻和由預先訓練的唇部回歸器生成的唇部頂點為條件，如下圖所示。對于肢體運動模型，Meta發(fā)現(xiàn)，僅以音頻為條件的純擴散模型產(chǎn)生的運動多樣性較少，而且在時間上顯得不可思議。但是，當以不同的引導姿勢為條件時，質(zhì)量就會提高。因此，Meta選擇將身體運動模型分為兩部分：首先，自回歸音頻條件變換器以1fps 的速度預測粗略的引導姿勢，然后擴散模型利用這些粗略的引導姿勢來填充細粒度和高頻運動。為了從音頻輸入生成面部動作，Meta構(gòu)建了一個以音頻為條件的擴散模型，遵循DDPM對擴散的定義。前向噪聲過程定義為：其中，F(xiàn)(0)近似于無噪聲的面部表情代碼序列，τ∈ [1, ... , T˙]表示前向擴散步驟，ατ∈ (0, 1) 遵循單調(diào)遞減。當 τ接近T˙時，Meta對F(T˙)～N(0, I)進行采樣。為了逆轉(zhuǎn)噪聲過程，Meta定義了一個模型，從噪聲F(τ)中去噪F(0)。然后，將前向過程應用于預測的F(0)，就能得到反向過程的下一步F(τ-1) 。而對于身體動作的模型，給定對話的輸入音頻后，自注意力模型P會生成多種多樣的引導姿勢序列樣本，包括傾聽反應、說話手勢和插話。P會從豐富的已學姿勢代碼庫中采樣，可生成各種姿勢，甚至還有如指點、搔癢、鼓掌等小動作，在不同樣本中具有很高的多樣性。然后，這些不同的姿勢將被用于身體擴散模型J的條件。實驗階段，Meta評估了模型有效生成逼真對話動作的能力。研究人員根據(jù)跟蹤的實況數(shù)據(jù)（F、J）對結(jié)果的真實性和多樣性進行了定量評估。同時還進行了感知評估，以證實定量結(jié)果，并衡量生成的手勢在特定對話環(huán)境中的適當性。評估結(jié)果表明，在逼真的頭像上呈現(xiàn)的手勢比在三維網(wǎng)格上呈現(xiàn)的手勢更容易被評估者感知。下圖為基線和消融（ablation）與實況（GT）的對比。下箭頭↓ 表示越低越好。Meta對數(shù)據(jù)集中的所有受試者取平均值，并對Divsample的5個序列進行采樣，并對每個指標的所有采樣取平均值。下標為標準偏差（μσ）。下圖為唇部動作的誤差。垂直和水平距離是上下和左右關鍵點之間沿Y（X）軸的距離。下表中顯示的是GT與生成距離之間的L2差值。Mesh L2指的是唇部區(qū)域生成網(wǎng)格頂點與GT網(wǎng)格頂點的誤差。誤差單位為平方毫米。為了量化對話中的手勢連貫性，Meta主要通過感知評估來評價。研究團隊在Amazon Mechanical Turk上進行了兩種不同的A/B測試。在第一個測試中，評估者觀看的是在普通非紋理網(wǎng)格上渲染的動作。在第二項測試中，評估者觀看的是逼真人像上的運動視頻。在這兩種情況下，評估者都觀看了一系列視頻對比。在每對視頻中，一個視頻來自Meta的模型，另一個視頻來自最強基線LDA或GT。然后，評估人員被要求根據(jù)對話音頻找出看起來更合理的動作。同時，可選答案還細化到了略微偏好與強烈偏好。如下圖所示，Meta引入的方法明顯優(yōu)于最強基準LDA，大約70%的評估者在Mesh和照片真實設置中都更喜歡Meta的成品。有趣的是，當以逼真的方式可視化時，評估者對該方法的偏好從略微偏好轉(zhuǎn)為了強烈偏好。而當將Meta的方法與GT進行比較時，這一趨勢仍在繼續(xù)。在基于Mesh的渲染中，Meta的方法與GT相比，同樣具有競爭力，但在逼真領域卻落后了。43%的評估者強烈傾向于GT而非Meta的方法。由于Mesh通常會掩蓋微妙的運動細節(jié)，因此很難準確評估手勢中的細微差別，導致評估者會對不正確的運動更加寬容。綜上來看，結(jié)果表明，逼真度對于準確評估對話動作至關重要。參考資料：https://people.eecs.berkeley.edu/~evonne_ng/projects/audio2photoreal/