一、背景 给人脸图像加眼镜在很多领域都有应用。比如修图换造型、眼镜店眼镜试戴、戴眼镜人脸识别等。 给人脸加眼镜的难点在于难以做到自然逼真，且人脸多种多样，角度多变，还存在饰物、头发等遮挡等。 目前主流的技术包括：直接贴图、3D模型匹配合成、GAN（生成对抗网络）等技术。 本文要介绍另外一种UV空间融合的方法，结合了直接贴图与3D模型生成的优点。该方法在京东faceX-zoo中用来给人脸及口罩，受其启发，我们尝试用来给人脸加眼镜。
二、UV空间融合法
其示意图如下： 整体步骤如下： （1）人脸检测与关键点：对参考glasses face 图片进行face detect, 并得到key landmark points （2）人脸对齐抠图。 （3）使用3D人脸重建技术建模3维人脸模型，本文使用prnet方法进行3维人脸重建，得到3D人脸的UV纹理图。 （4）在PS中，使用索套工具将（b）中的眼镜抠下来得到眼镜纹理图（c）。 （5）对不带眼镜的图片重复上述（1-3）步骤。 （6）将（c）(e) 两幅UV纹理图进行融合，眼镜纹理图为4通道（RGBA），alpha通道作为融合因子。 （7）进融合后的纹理图及3D人脸模型投影render到2维，即可得到带眼镜的人脸。
为了丰富眼镜的多样性，我们获得了多张眼镜UVmap图像
对另一人脸数据集进行加眼镜操作： 原图： 加眼镜后： 对于大角度人脸，依然有不错的匹配效果。 三、总结与不足 基于UV空间融合法的方法作为一种快速且易实施的加眼镜的方式，可以获得基本的戴眼镜效果。其优缺点都很明显。 优点：基于3维人脸重建，可自适应不同角度的人脸；眼镜素材丰富且获得简单；不需要复杂的渲染即可得到眼镜反光、半透视、有色眼镜等特效；能很好的保持原图的人物面部属性。 缺点：人脸yaw角度稍大效果欠佳。眼镜像是涂在皮肤上的感觉，缺乏立体感。因为眼镜图片是基于单张正脸图片抠出来的，眼镜腿等细节部分存在缺失。
四、参考 https://github.com/JDAI-CV/FaceX-Zoo https://github.com/YadiraF/PRNet https://github.com/YadiraF/face3d
声明：本文中图片素材来源于公开人脸数据集celebA 和 ms1m，若有侵权，请告知删除。
获取更多该方法技术细节，可以 欢迎关注微信公众号 opencv520，获取CV前沿动态 opencv520专注于机器视觉领域知识，包括但不限于：相机成像、双摄全景深度相机、图像处理、相机标定、双目视觉、3D视觉、3维重建、机器学习、深度学习、人脸检测识别、GAN、自动驾驶、智能驾舱、机器人等领域。分享基础知识，传递前沿动态。