Easy-wav2lip是新版的AI数字人制作工具,基于wav2lip优化改进而来,新增了WebUI界面,操作更简便,同时提升了数字人的生成效率,大大减少了生成的时间。
官方地址:https://github.com/anothermartz/Easy-Wav2Lip
一键整合包下载地址:
通过百度网盘分享的文件:Easy-Wav2Lip.zip
链接:https://pan.baidu.com/s/1T7JURQhU-UlqJAZoubyu6Q?pwd=94g1
提取码:94g1
夸克网盘:
链接:https://pan.quark.cn/s/356d29ea1921
准备
需要准备音频和视频文件。
音频文件:
- 建议音频长度与视频的长度相同(比如你是10秒钟的视频,那么你的音频长度建议是10秒。
- 如果音频长度比视频长度长,视频会自动向后循环延长)。
- 音频文件格式:wav 和mp3
视频文件:
- 你选择的视频帧中必须都有一张脸,否则将报错。(比如你视频总时长10秒,中间有2秒没有人脸的画面,就会报错)。
- 推荐H264编码的mp4视频格式
提示:该版本支持批量。批量支持多段视频多段音频、多段视频单段音频。
举个例子:
- 你有3个视频,3段音频,那么会按照你选择的顺序视频1对应音频1、视频2对应音频2进行处理。
- 你有3个视频,1段音频,那么会按照你上传的所有视频都对应这个音频进行处理。
- 视频1对应音频1、视频2对应音频1、视频3对应音频3。
使用教程:
下载一键包后,请用专业解压缩文件解压出来,解压目录不要有中文。
双击“go-web.bat",启动!
等待黑色窗口出现“Running on local URL: http://127.0.0.1:7860”的时候,复制http开头的地址
然后到浏览器粘贴打开即可。如上图。
注意:在运行期间,请勿关闭黑色窗口。
详细视频教程:
附自定义参数:
视频质量:
Fast快速:Wav2Lip音频转口型模式。
Improved改进:Wav2Lip音频转口型模式 +唇部周围带有遮罩羽化,去除唇部周围边框。
Enhanced增强:Wav2Lip音频转口型模式 + 遮罩羽化 + GFPGAN高清脸部增强
Experimental实验性:在增强的模式上优化执行效率。
如果不是机器配置太差默认推荐选 Enhanced 和 Experimental
分辨率选项
full resolution全分辨率
half resolution半分辨率
注意:
测试下来半分辨率会在某些情况下存在不兼容问题,建议这个选项选全分辨率
Wav2Lip版本选项
Wav2Lip
优点:更准确的口型同步、在没有声音时会保持嘴巴闭合。
缺点:有时会产生牙齿缺失(部分情况下)。
Wav2Lip_GAN
优点:效果看起来更好,保留说话者原有表情。
缺点:不太擅长遮盖原始的嘴唇动作,尤其是在没有声音的情况下。
建议:
先尝试 Wav2Lip,如果遇到口齿上有很大缝隙的效果,再切换到Wav2Lip_GAN版本。
启用脸部平滑
启用后,wav2lip 将独立裁剪每个帧上的脸部。
适用于视频中的快速移动或剪辑。
如果脸部角度奇怪,可能会导致抽搐。
禁用后,wav2lip 会在 5 帧之间混合检测到的人脸位置。
适合缓慢移动,尤其是对于不常用角度的脸部。
当脸部在画面中快速移动时,嘴巴可能会偏移,在切割之间看起来很可怕。
Padding (填充):
此选项控制在每个方向上从面部裁剪中添加或删除的像素数。
此选项可以帮助去除下巴或脸部其他边缘的硬线条,但填充过多或过少都会改变嘴巴的大小或位置。通常的做法是在底部添加 10 个像素,建议尝试不同的值,找到最佳效果。
Mask尺寸
将增加蒙版覆盖的区域的大小。(脸部周围有边框可以减少此数值,例如:1.5)
Mask羽化
决定了蒙版中心和边缘之间的混合量。(脸部周围有边框也可以增加此数值 )
启用Mask嘴部跟踪
会将遮罩的位置更新到嘴巴在每一帧上的位置(速度较慢)
注意:
由于帧被裁剪到脸上,嘴巴位置已经很近似了,只有当发现视频的遮罩似乎没有跟随嘴巴时,才启用此功能。
启用Mask调试
开启后将使背景灰度和蒙版变彩色,可以看到蒙版在框架中的位置。(此参数改成True后,可以更直观的看到参数效果)
评论
发表评论