AniTalker，這是一個(gè)創(chuàng)新框架，旨在從單個(gè)肖像中生成栩栩如生的說(shuō)話面孔?，F(xiàn)有模型主要關(guān)注唇形同步等語(yǔ)言線索，無(wú)法捕捉面部表情和非語(yǔ)言線索的復(fù)雜動(dòng)態(tài)，與此不同的是，AniTalker 采用了通用的運(yùn)動(dòng)表示。這種創(chuàng)新的表現(xiàn)方式有效地捕捉了廣泛的面部動(dòng)態(tài)，包括微妙的表情和頭部運(yùn)動(dòng)。

AniTalker 通過(guò)兩種自監(jiān)督學(xué)習(xí)策略增強(qiáng)運(yùn)動(dòng)描繪：第一種涉及從同一身份內(nèi)的源幀重建目標(biāo)視頻幀以學(xué)習(xí)微妙的運(yùn)動(dòng)表示，第二種使用度量學(xué)習(xí)開發(fā)身份編碼器，同時(shí)主動(dòng)最小化身份之間的互信息和運(yùn)動(dòng)編碼器。這種方法確保運(yùn)動(dòng)表示是動(dòng)態(tài)的并且沒(méi)有特定于身份的細(xì)節(jié)，從而顯著減少對(duì)標(biāo)記數(shù)據(jù)的需求。此外，擴(kuò)散模型與方差適配器的集成允許生成多樣化且可控的面部動(dòng)畫。

這種方法不僅展示了 AniTalker 創(chuàng)建詳細(xì)且真實(shí)的面部動(dòng)作的能力，而且還強(qiáng)調(diào)了其在為現(xiàn)實(shí)世界應(yīng)用制作動(dòng)態(tài)頭像方面的潛力。

開源地址：https://github.com/X-LANCE/AniTalker