梅宁航 发自 凹非寺量子位 报道 | 公众号 QbitAI

有没有想过让蒙娜丽莎随着你的脸色动，来一番豪情亲切的互换？

Aliaksandr的一阶活动模子（First Order Motion Model）可以实现，然则实现历程异常复杂且繁琐。

一阶活动模子功能强大年夜，可以在未经预演习的数据集上对图象和视频进行特效生成，但价值是安装配置较量繁琐。

能不克不及简单一点，再简单一点？

印度一名轨范员阿南德·帕瓦拉（Anand Pawara）设计了基于OpenCV实现的实时动画特效。

究竟OpenCV是成名已久的跨平台视觉库，是事实上的较量争论机视觉范畴的标准库。

项目中触及的人脸辨认、动作辨认和活动跟踪，均在OpenCV库华夏生支持。

几天前，阿南德在GitHub上开源了完全代码，并给出实现具体历程。

走过途经，不要错过。

安装历程

1、安装依托模块

安装依托模块：

pipinstall-rrequirements.txt

安装pytorch 1.0.0 :

pip install torch===1.0.0 torchvision===0.2.1 -f http://www.luotuo.cc/tags/423.html" class="tooltip-trigger tin" title="查看更多关于 摄像头 的文章" target="_blank">摄像头的实时特效生成 :

python .\image_animation.py-i .\Inputs\Monalisa.png-c .\checkpoints\vox-cpk.pth.tarRunapplicationfromvideofile : pythonimage_animation.py-ipath_to_input_file-cpath_to_checkpoint-vpath_to_video_file

针对既有视频的特效生成 :

python .\image_animation.py-i .\Inputs\Monalisa.png-c .\checkpoints\vox-cpk.pth.tar-v .\video_input\test1.mp4

假如你想上手尝尝，只需要调剂相干配置文件即可。

模子分为两种利用模式，一种是较为常规的导入视频常规方式，别的一种就是实时生成视频特效。

然则，请留意，一定要利用pytorch 1.0.0版本，由于更高的版本在后端依托的一阶模子上存在问题。

遵照作者的后续企图，会推出客户端轨范，而且会增加假声（deepfake voice）功能。

存身OpenCV的优化

阿南德所做的工作是简化现有的一阶活动模子（First Order Motion Model），利用OpenCV对视频进行特效生成。

项目标后端支持由OpenCV库完成，避免利用复杂的模子，下降利用门坎。

遵照作者不雅点，利用这个模子只需要对一类数据集进行演习后，即可利用到对其所有事物上去，即具有较好的泛化能力。

分歧于原一阶模子的多个数据集测试后果，而今阿南德实时动态特效模子还只在人脸数据集上进行测试，后续后延续增加其他数据集。

这个模子的特点是易用，配置异常简单，根基可以开箱即用，即使是演习本身的数据集也会较量简单。

由于存身于对现有资本进行优化配置，操作简单单纯，功能强大年夜。

当然，简单也会带来问题，好比而今数据集较为单一，针对的首假如人脸数据集。

别的，对人脸的轮廓辨认后果还不那末使人合意，需要加以刷新。

作者简介

项目作者阿南德·帕瓦拉（Anand Pawara）是印度AvenDATA公司的一名深度进修工程师，现居孟买。

繁琐的工作主动化，大年夜幅度下降上手的难度。

完全实现历程毗邻鄙人面，假如有爱好，欢迎本身去尝尝哟~

参考链接：http://www.luotuo.cc/tags/1901.html" class="tooltip-trigger tin" title="查看更多关于 240 的文章" target="_blank">2400261/4508119667605445