新智元報(bào)道編輯：拉燕【新智元導(dǎo)讀】最近，來自Meta和UC伯克利的研究人員，發(fā)布了一種最新的音頻到人像模型。操作簡單，輸出極致逼真。就在最近，Meta和UC伯克利聯(lián)合提出了一種全新的虛擬人物形象生成的方法——直接根據(jù)音頻生成全身人像，效果不僅逼真，還能模擬出原音頻中包含的細(xì)節(jié)，比如手勢、表情、情緒等等。論文地址：https://arxiv.org/abs/2401.01885話不多說，直接上圖。可以看到，人像刷地一下就出來了，十分逼真。而且從上面的文字對(duì)話可以看到，就是在講可以用音頻生成虛擬人像這件事。講者的手勢動(dòng)作真的像是在做講解。音頻到Avatar，一步！這個(gè)系統(tǒng)不光可以生成全身逼真的形象，人像還會(huì)根據(jù)二人互動(dòng)的對(duì)話動(dòng)態(tài)做出手勢。給定語音音頻后，音頻會(huì)為一個(gè)人輸出多種可能的手勢動(dòng)作，包括面部、身體和雙手等部位。Meta表示，方法的關(guān)鍵就在于將矢量量化帶來的樣本多樣性優(yōu)勢與通過擴(kuò)散獲得的高頻細(xì)節(jié)相結(jié)合，從而生成更具動(dòng)態(tài)和表現(xiàn)力的動(dòng)作。研究團(tuán)隊(duì)使用了高度逼真的人像，將生成的運(yùn)動(dòng)可視化。這些頭像可以表達(dá)手勢中的關(guān)鍵細(xì)微差別（如譏笑和傻笑）。為了促進(jìn)這一研究方向，Meta首次引入了一個(gè)叫作多視角對(duì)話數(shù)據(jù)集的玩意兒，可以讓用戶進(jìn)行逼真的重建。實(shí)驗(yàn)表明，Meta的新模型能生成恰當(dāng)且多樣化的手勢，從性能上講，要優(yōu)于擴(kuò)散和純VQ的方法。此外，在研究過程中，Meta在感知評(píng)估這一塊強(qiáng)調(diào)了逼真度在準(zhǔn)確評(píng)估對(duì)話手勢中所包含的微妙運(yùn)動(dòng)細(xì)節(jié)方面的重要性。Meta已將代碼和數(shù)據(jù)集公開發(fā)布在了網(wǎng)站上。具體來看，要實(shí)現(xiàn)這個(gè)最終結(jié)果，有以下6個(gè)步驟：一個(gè)新穎、豐富的二元對(duì)話數(shù)據(jù)集，可以進(jìn)行逼真的重構(gòu)。由三部分組成的運(yùn)動(dòng)模型：面部運(yùn)動(dòng)模型、引導(dǎo)姿勢預(yù)測器和身體運(yùn)動(dòng)模型。給定音頻和預(yù)訓(xùn)練唇語回歸器的輸出，Meta訓(xùn)練一個(gè)條件擴(kuò)散模型來輸出面部運(yùn)動(dòng)。對(duì)于身體部分，Meta將音頻作為輸入，并以1fps的速度自回歸輸出VQ-ed引導(dǎo)姿勢。然后，將音頻和引導(dǎo)姿態(tài)傳遞到同一個(gè)擴(kuò)散模型中，以30 fps的速度填充高頻率的身體運(yùn)動(dòng)。最后，生成的面部和肢體運(yùn)動(dòng)都會(huì)傳入Meta訓(xùn)練過的人像渲染器，生成逼真的人像。然后，成品就有了！Meta在博客中列舉了四個(gè)比較有特色的點(diǎn)，以此來凸顯效果的逼真和模型的強(qiáng)大。甩腕表示梳理要點(diǎn)；講故事時(shí)聳肩。表達(dá)「它們的發(fā)生肯定是有原因的」時(shí)，強(qiáng)調(diào)手臂的動(dòng)作；用手指的動(dòng)作來表示陳述。通過手部動(dòng)作來配合談話，以及聲音的起伏。??提問時(shí)手指的動(dòng)作細(xì)節(jié)；想問題時(shí)頭向后仰，做思考狀；回答時(shí)手向外推。論文經(jīng)過前面的介紹，整個(gè)流程大家估計(jì)已經(jīng)很熟悉了。無非就是，音頻輸入、中間過程，以及最終輸出。關(guān)于對(duì)話的原始音頻，Meta引入了一個(gè)模型（上面提到過），該模型能為兩人中的其中一人生成相應(yīng)的逼真面部、身體和手部動(dòng)作。研究人員從記錄的多視角數(shù)據(jù)中提取潛在表情代碼來表示面部特征，并用運(yùn)動(dòng)骨架中的關(guān)節(jié)角度來表示身體姿勢。該系統(tǒng)由兩個(gè)生成模型組成，在輸入二人對(duì)話音頻的情況下，生成表情代碼和身體姿勢序列。然后，就可以使用Meta的神經(jīng)人像渲染器，逐幀渲染表情代碼和身體姿勢序列。首先，臉部與輸入音頻的相關(guān)性很強(qiáng)，尤其是嘴唇的運(yùn)動(dòng)，而身體與語音的相關(guān)性較弱。這就導(dǎo)致在給定的語音輸入中，肢體手勢的合理性更加多樣化。其次，由于在兩個(gè)不同的空間（學(xué)習(xí)到的表情代碼與關(guān)節(jié)角度）中表示面部和身體，因此它們各自遵循不同的時(shí)間動(dòng)態(tài)。因此，研究人員選擇用兩個(gè)獨(dú)立的運(yùn)動(dòng)模型來模擬面部和身體。這樣，臉部模型就可以將其能力用于生成與語音一致的臉部細(xì)節(jié)，而身體模型則可以專注于生成多樣但合理的身體運(yùn)動(dòng)。此外，面部運(yùn)動(dòng)模型是一個(gè)擴(kuò)散模型，以輸入音頻和由預(yù)先訓(xùn)練的唇部回歸器生成的唇部頂點(diǎn)為條件，如下圖所示。對(duì)于肢體運(yùn)動(dòng)模型，Meta發(fā)現(xiàn)，僅以音頻為條件的純擴(kuò)散模型產(chǎn)生的運(yùn)動(dòng)多樣性較少，而且在時(shí)間上顯得不可思議。但是，當(dāng)以不同的引導(dǎo)姿勢為條件時(shí)，質(zhì)量就會(huì)提高。因此，Meta選擇將身體運(yùn)動(dòng)模型分為兩部分：首先，自回歸音頻條件變換器以1fps 的速度預(yù)測粗略的引導(dǎo)姿勢，然后擴(kuò)散模型利用這些粗略的引導(dǎo)姿勢來填充細(xì)粒度和高頻運(yùn)動(dòng)。為了從音頻輸入生成面部動(dòng)作，Meta構(gòu)建了一個(gè)以音頻為條件的擴(kuò)散模型，遵循DDPM對(duì)擴(kuò)散的定義。前向噪聲過程定義為：其中，F(xiàn)(0)近似于無噪聲的面部表情代碼序列，τ∈ [1, ... , T˙]表示前向擴(kuò)散步驟，ατ∈ (0, 1) 遵循單調(diào)遞減。當(dāng) τ接近T˙時(shí)，Meta對(duì)F(T˙)～N(0, I)進(jìn)行采樣。為了逆轉(zhuǎn)噪聲過程，Meta定義了一個(gè)模型，從噪聲F(τ)中去噪F(0)。然后，將前向過程應(yīng)用于預(yù)測的F(0)，就能得到反向過程的下一步F(τ-1) 。而對(duì)于身體動(dòng)作的模型，給定對(duì)話的輸入音頻后，自注意力模型P會(huì)生成多種多樣的引導(dǎo)姿勢序列樣本，包括傾聽反應(yīng)、說話手勢和插話。P會(huì)從豐富的已學(xué)姿勢代碼庫中采樣，可生成各種姿勢，甚至還有如指點(diǎn)、搔癢、鼓掌等小動(dòng)作，在不同樣本中具有很高的多樣性。然后，這些不同的姿勢將被用于身體擴(kuò)散模型J的條件。實(shí)驗(yàn)階段，Meta評(píng)估了模型有效生成逼真對(duì)話動(dòng)作的能力。研究人員根據(jù)跟蹤的實(shí)況數(shù)據(jù)（F、J）對(duì)結(jié)果的真實(shí)性和多樣性進(jìn)行了定量評(píng)估。同時(shí)還進(jìn)行了感知評(píng)估，以證實(shí)定量結(jié)果，并衡量生成的手勢在特定對(duì)話環(huán)境中的適當(dāng)性。評(píng)估結(jié)果表明，在逼真的頭像上呈現(xiàn)的手勢比在三維網(wǎng)格上呈現(xiàn)的手勢更容易被評(píng)估者感知。下圖為基線和消融（ablation）與實(shí)況（GT）的對(duì)比。下箭頭↓ 表示越低越好。Meta對(duì)數(shù)據(jù)集中的所有受試者取平均值，并對(duì)Divsample的5個(gè)序列進(jìn)行采樣，并對(duì)每個(gè)指標(biāo)的所有采樣取平均值。下標(biāo)為標(biāo)準(zhǔn)偏差（μσ）。下圖為唇部動(dòng)作的誤差。垂直和水平距離是上下和左右關(guān)鍵點(diǎn)之間沿Y（X）軸的距離。下表中顯示的是GT與生成距離之間的L2差值。Mesh L2指的是唇部區(qū)域生成網(wǎng)格頂點(diǎn)與GT網(wǎng)格頂點(diǎn)的誤差。誤差單位為平方毫米。為了量化對(duì)話中的手勢連貫性，Meta主要通過感知評(píng)估來評(píng)價(jià)。研究團(tuán)隊(duì)在Amazon Mechanical Turk上進(jìn)行了兩種不同的A/B測試。在第一個(gè)測試中，評(píng)估者觀看的是在普通非紋理網(wǎng)格上渲染的動(dòng)作。在第二項(xiàng)測試中，評(píng)估者觀看的是逼真人像上的運(yùn)動(dòng)視頻。在這兩種情況下，評(píng)估者都觀看了一系列視頻對(duì)比。在每對(duì)視頻中，一個(gè)視頻來自Meta的模型，另一個(gè)視頻來自最強(qiáng)基線LDA或GT。然后，評(píng)估人員被要求根據(jù)對(duì)話音頻找出看起來更合理的動(dòng)作。同時(shí)，可選答案還細(xì)化到了略微偏好與強(qiáng)烈偏好。如下圖所示，Meta引入的方法明顯優(yōu)于最強(qiáng)基準(zhǔn)LDA，大約70%的評(píng)估者在Mesh和照片真實(shí)設(shè)置中都更喜歡Meta的成品。有趣的是，當(dāng)以逼真的方式可視化時(shí)，評(píng)估者對(duì)該方法的偏好從略微偏好轉(zhuǎn)為了強(qiáng)烈偏好。而當(dāng)將Meta的方法與GT進(jìn)行比較時(shí)，這一趨勢仍在繼續(xù)。在基于Mesh的渲染中，Meta的方法與GT相比，同樣具有競爭力，但在逼真領(lǐng)域卻落后了。43%的評(píng)估者強(qiáng)烈傾向于GT而非Meta的方法。由于Mesh通常會(huì)掩蓋微妙的運(yùn)動(dòng)細(xì)節(jié)，因此很難準(zhǔn)確評(píng)估手勢中的細(xì)微差別，導(dǎo)致評(píng)估者會(huì)對(duì)不正確的運(yùn)動(dòng)更加寬容。綜上來看，結(jié)果表明，逼真度對(duì)于準(zhǔn)確評(píng)估對(duì)話動(dòng)作至關(guān)重要。參考資料：https://people.eecs.berkeley.edu/~evonne_ng/projects/audio2photoreal/