梅宁航 发自 凹非寺量子位 报道 | 公众号 QbitAI
有没有想过让蒙娜丽莎随着你的脸色动,来一番豪情亲切的互换?
Aliaksandr的一阶活动模子(First Order Motion Model)可以实现,然则实现历程异常复杂且繁琐。
一阶活动模子功能强大年夜,可以在未经预演习的数据集上对图象和视频进行特效生成,但价值是安装配置较量繁琐。
能不克不及简单一点,再简单一点?
印度一名轨范员阿南德·帕瓦拉(Anand Pawara)设计了基于OpenCV实现的实时动画特效。
究竟OpenCV是成名已久的跨平台视觉库,是事实上的较量争论机视觉范畴的标准库。
项目中触及的人脸辨认、动作辨认和活动跟踪,均在OpenCV库华夏生支持。
几天前,阿南德在GitHub上开源了完全代码,并给出实现具体历程。
走过途经,不要错过。
安装历程
1、安装依托模块
安装依托模块:
pipinstall-rrequirements.txt
安装pytorch 1.0.0 :
pip install torch===1.0.0 torchvision===0.2.1 -f http://www.luotuo.cc/tags/423.html" class="tooltip-trigger tin" title="查看更多关于 摄像头 的文章" target="_blank">摄像头的实时特效生成 :
python .\image_animation.py-i .\Inputs\Monalisa.png-c .\checkpoints\vox-cpk.pth.tarRunapplicationfromvideofile : pythonimage_animation.py-ipath_to_input_file-cpath_to_checkpoint-vpath_to_video_file
针对既有视频的特效生成 :
python .\image_animation.py-i .\Inputs\Monalisa.png-c .\checkpoints\vox-cpk.pth.tar-v .\video_input\test1.mp4
假如你想上手尝尝,只需要调剂相干配置文件即可。
模子分为两种利用模式,一种是较为常规的导入视频常规方式,别的一种就是实时生成视频特效。
然则,请留意,一定要利用pytorch 1.0.0版本,由于更高的版本在后端依托的一阶模子上存在问题。
遵照作者的后续企图,会推出客户端轨范,而且会增加假声(deepfake voice)功能。
存身OpenCV的优化
阿南德所做的工作是简化现有的一阶活动模子(First Order Motion Model),利用OpenCV对视频进行特效生成。
项目标后端支持由OpenCV库完成,避免利用复杂的模子,下降利用门坎。
遵照作者不雅点,利用这个模子只需要对一类数据集进行演习后,即可利用到对其所有事物上去,即具有较好的泛化能力。
分歧于原一阶模子的多个数据集测试后果,而今阿南德实时动态特效模子还只在人脸数据集上进行测试,后续后延续增加其他数据集。
这个模子的特点是易用,配置异常简单,根基可以开箱即用,即使是演习本身的数据集也会较量简单。
由于存身于对现有资本进行优化配置,操作简单单纯,功能强大年夜。
当然,简单也会带来问题,好比而今数据集较为单一,针对的首假如人脸数据集。
别的,对人脸的轮廓辨认后果还不那末使人合意,需要加以刷新。
作者简介
项目作者阿南德·帕瓦拉(Anand Pawara)是印度AvenDATA公司的一名深度进修工程师,现居孟买。
繁琐的工作主动化,大年夜幅度下降上手的难度。
完全实现历程毗邻鄙人面,假如有爱好,欢迎本身去尝尝哟~
参考链接:http://www.luotuo.cc/tags/1901.html" class="tooltip-trigger tin" title="查看更多关于 240 的文章" target="_blank">2400261/4508119667605445