随着深度学习技术的发展，人脸识别应用到越来越多的场合中，但受到光照、遮挡、姿态、表情等因素的制约，人脸识别系统的安全与可靠性一直受到假体攻击威胁。我们利用ToF相机，提出了一种融合RGB、深度图像和强度图像的多模态异构学习网络来区分真实人脸和假体面具。我们设计神经网络聚焦于预先选定的注意力区域，从不同模态数据中学习到互补特征。此外，将统计梯度特征与CNN层次特征进行融合，增强了其代表性。
图1 多模态融合活体检测网络流程图
我们对于照片和面具欺骗场景进行了测试，测试场景如图2所示。
图2 活体检测测试场景
人脸活体检测效果如图3所示。
（a）真实人脸
（b）照片欺骗
（c）面具欺骗
图3 多模态人脸活体检测效果
此外，我们在CASIA-SURF数据集上与现有方法进行了对比测试，将平均准确率（Average Precision，AP）作为评价指标，定量结果如表1所示。
目前，人脸活体检测面临的问题是更加丰富的攻击类型，面对网络尚未学习过的新型欺骗攻击，我们后续工作将专注于多模态与跨模态特征提取算法以及使用Few/Zero-shot学习方式提升网络的泛化能力。
