Speedy NEWS

音声データを元にどんな人物でも完璧なリップシンク(口を合わせる)ができるソフト『StyleSync』を開発

Baiduが音声データを元にどんな人物でも完璧なリップシンク(口を合わせる)ができるソフト『StyleSync』を開発した。一つのサンプル動画から精度の高いリップシンク動画を生成できる。

例えば、英語版の映画を完全に日本語の話し方で作り直すことができる。元の言語も使えるので、声優が失業するだろう。

Demo video for the paper: StyleSync: High-Fidelity Generalized and Personalized Lip Sync in Style-based Generator (CVPR 2023).
https://youtu.be/yAPDl2dVonY

More details on the project page:
https://hangz-nju-cuhk.github.io/projects/StyleSync