贾浩楠发自凹非寺
量子位报道公众号 QbitAI
通过一段视频，来重建人脸 3D 模型，没什么稀奇的。
但是，如果只有测试者的一张静态图片呢？
来自中科院模式识别实验室的博士生郭建珠和他的团队，提出了一种新的密集人脸对齐（3D Dense Face Alignment）方法。
新的3DDFA方法，最关键的核心，是3D 辅助短视频合成方法，它能模拟平面内和平面外的人脸移动，将一幅静止图像转换为短视频。
由此来完成模型的识别和训练。
郭同学的这篇论文Towards Fast, Accurate and Stable 3D Dense Face Alignmen，已经被 ECCV 2020 收录。
3DDFA-V2：一静一动
这其实是作者发布的 3DDFA 的第二个版本，两年前，团队已经发表了 3DDFA 的第一版。
新版本具有更好的性能和稳定性。此外，3DDFA_V2 集成了快速人脸检测器 FaceBoxes，取代了原来的 Dlib，同时还包括由 C++ 和 Cython 编写的简单 3D 渲染。
3DDFA 能做到“动若脱兔”（面部特征识别、对齐）：
还有动态的 3D 人脸建模：
3DDFA 的另一面，“静若处子”（静态照片 3D 人脸重建）：
除了一静一动，3DDFA 还能根据照片对人物姿态做出简单估计：
进行深度图像估计：
还能对图像的 PNCC、PAF 特征提取：
3DDFA-V2 可以称得上是一个功能十分强大的面部 3D 重构工具，同时还集合了其他很多功能。
那么，3DDFA-V2 最关键的照片转小视频的功能是如何实现的呢？
3D 辅助短视频合成
3D 密集人脸对齐方法，需要在在视频上运行，它提供相邻帧间提供稳定的 3D 重建结果。
所谓稳定，是指在视频的相邻帧中，重建的三维图像的变化应该与真实物体的细粒度移动保持一致。
然而，现有的大多数方法都无法满足这一要求，也难以避免随机抖动的影响。
在二维人脸配准中，时空滤波等后处理是减少抖动的常用策略，但会降低精度，造成帧延迟。
此外，由于没有公开的三维密集人脸配准的视频数据库，采用视频进行预训练的方法也行不通。
那么还有其他什么办法能改善静态图像转化视频的稳定性？
3DDFA-V2 中采用的是批处理级的 3D 辅助短视频合成策略。
将一幅静态图像扩展到多个相邻的帧，由此形成一个 mini-batch 的合成短视频。
一般来说，一个视频的基本模式可以分成：
1、噪声。我们将噪声建模为 P (X)=x+N（0，2）， 其中 E=a2I
2、运动模糊。运动模糊可以表示为 M (X)=K*x，其中K是卷积核（算子*表示卷积）。
3、平面内旋转。给定两个相邻帧 xt和 xt+1，平面从xt和 xt+1变化可以描述为相似变换 T（·）
其中Δs为比例扰动，Δθ为旋转扰动，Δt1 和Δt2 为平移扰动。
由于人脸具有相似的三维结构，同理也能够合成平面外的人脸移动。
人脸剖面F(-)最初是为了解决大姿势的人脸对准问题而提出的，它被用来逐步增加人脸的偏航角∆φ和俯仰角∆γ。
具体来说，以小批量的方式对多张静止图像进行采样，对于每张静止图像 x0，对其进行稍微平滑的变换，生成一个有n个相邻帧的合成视频：
3D 辅助短视频合成帧中，相邻两帧如何合成：
如何上手
目前，团队已经将 3DDFA-V2 开源，且安装使用都非常简单。
安装指令：
git clone
https://github.com/cleardusk/3DDFA_V2.gitcd 3DDFA_V2
安装完成后，需要构建 cython 版本的 NMS 和 Sim3DR：
sh ./build.sh
运行演示：
# running on still image, four options: 2d_sparse, 2d_dense, 3d, depthpython3 demo.py -f examples/inputs/emma.jpg
# running on videospython3 demo_video.py -f examples/inputs/videos/214.avi
# running on videos smoothly by looking ahead by `n_next` framespython3 demo_video_smooth.py -f examples/inputs/videos/214.avi
例如，运行
python3 demo.py -f examples/inputs/emma.jpg -o 3d
将给出以下结果：
跟踪人脸动作的实现只需通过对齐即可。
但如果头部姿势偏角大于 90°或运动太快，则对齐可能会失败。可以考虑使用阈值来精细地检查跟踪状态。
加载完成后，可以用任意图像作为输入，运行算法：
python3 main.py -f samples/test1.jpg
如果你能在终端看到输出日志，这说明成功运行，等待结果即可：
Dump tp samples/test1_0.ply
Save 68 3d landmarks to samples/test1_0.txt
Dump obj with sampled texture to samples/test1_0.obj
Dump tp samples/test1_1.ply
Save 68 3d landmarks to samples/test1_1.txt
Dump obj with sampled texture to samples/test1_1.obj
Dump to samples/test1_pose.jpg
Dump to samples/test1_depth.png
Dump to samples/test1_pncc.png
Save visualization result to samples/test1_3DDFA.jpg
3DDFA-V2 对计算机的软硬件都有一些要求：
PyTorch 0.4.1 版本以上
Python 3.6 版本以上（带有 Numpy、Scipy、Matplotlib 库）
系统：Linux 或 macOS
研究团队推荐的硬件条件为一块英伟达 GTX 1080 GPU 和 i5-8259U CPU。
当然，除了老黄的卡，你也可以直接在谷歌 Colab 上体验！
如果这个工具对你有帮助的话，赶紧来试试吧!
3DDFA-V2 谷歌 Collab：
https://colab.research.google.com/drive/1OKciI0ETCpWdRjP-VOGpBulDJojYfgWv
Github 项目地址：
https://github.com/cleardusk/3DDFA_V2
支付宝扫一扫
微信扫一扫
