ToF中的多径问题

ToF深度相机是目前的三种主流深度相机之一。和双目相机、结构光深度相机的原理不同,ToF相机向目标场景发射调制光,并由传感器接收目标场景反射回来的调制光,通过计算发射光和反射光的相位差来计算每一个像素点到相机的距离。该原理需要满足一个假设,那就是目标场景中的光只会反射一次。然而,这个假设在现实情况中是不可能的,光线会在目标场景中多次反射,一个物体不仅会反射相机发射的调制光,也会反射来自其他间接路径的光。多个来源的反射光之间会导致干扰,从而引起深度测量的误差。这种现象就是大家熟知的多径效应,多径效应会极大影响ToF相机的成像质量。

总的来说,ToF的多径效应的诱因就是背景干扰。实际场景中总会存在一些漫反射材料表面,它会把入射光反射到各个方向。这样,ToF相机最终得到的就不是两个信号的结合,而是会有无穷多的信号。通常来说,这些无穷多的间接反射光的幅值会远小于直接反射光,所以ToF的测量值在大多数情况下仍是可信的。但是在某些特定场景中,会有一些间接反射信号异常得高,这时,多径效应就会成为一个问题。具体来看,多径效应一般有四个来源。

图1 多径效应示意图

首先,就是目标场景中的高度反光的物体,比如,光滑墙面,镜子等。以墙面旁边的物体为例,该物体不仅会反射相机发射过来的入射光,同时还会反射由墙面或者镜子打过来的反射光。最终相机接收到的来自物体的反射光,实际上是包含多个来源的反射光。第二类就是透明物体或者半透明的物体,比如,玻璃。这一类物体不一定会反射光线,但是光会穿过物体,同时会略微衰弱。这个光线会和其他反射光产生干扰,从而导致多径误差。第三类是角落场景。墙上的每一个点一般都会收到其他点的反射光,并会有部分反射回相机。通常这些间接反射很微弱,但是墙角上会有足够多的反射点,从而会使间接反射信号增强,强到足以影响深度测量。最后一类则是由于相机内部的透镜系统引起的。这一类多径效应比较复杂,包含很多微小的成份。

如何解决ToF中的多径效应,首先需要从数学表示上理解多径效应。理想中的ToF深度计算原理是根据入射光和反射光的相位差来算的。假设发射信号为,接收信号为,具体表示如下:

其中,是接收信号的幅值,是环境光的强度,通常会以高斯白噪声表示。就是发射信号和接收信号的相位差,也就是我们计算深度所需要的值。有了相位差,就可以根据下面的公式计算深度。

计算发射信号和接收信号的自相关。

这时,只需要对采样,取3-4个值就可以计算出相位差。这里,我们令,可以得到。

同样,幅值也可以根据这几次采样值计算。

当然,这些只是理想情况的深度计算公式。实际情况中,接收信号是由若干(甚至无数)个子信号组成的。

其中,i =0对应的是直接反射,而剩下的则是对应的间接反射,也就是多径干扰成分。实际的相位和幅值计算公式就不再是上面的简易表达形式了,而是和这些相关的一个表达式。

显然,多径效应存在的情况下,实际测得的相位值是不等于理论的相位值的。

参考文献

【1】Naik N, Kadambi A, Rhemann C, et al. A light transport model for mitigating multipath interference in Time-of-flight sensors[C]. computer vision and pattern recognition, 2015: 73-81.

【2】Jonathan Klein. Correction of Multipath-Effects in Time-of-Flight Range Data. 2014.