随着结构光、ToF传感设备在手机、平板等设备上的普及， 3D感知硬件基础已经逐步完善，3D市场将发生从强调成像到强调感知的转变。而感知意味着对成像的可靠性和准确性有进一步的要求。3D ISP（Image Signal Processing）作为衔接传感器和3D感知应用的重要桥梁，能有效消除干扰，提高实时性能，而如何构建高效的ISP架构以及功能组件是ISP技术发展的关键所在。
图1 2D ISP技术与3D ISP技术功能框图
2D ISP发展较为成熟，但3D ISP由于3D成像差异决定了其核心运算内容和2D-ISP差别巨大，无法直接采用2D ISP技术。3D图像传感器的控制参数数量、成像运算量、校准复杂度、应用难度均远高于普通的2D图像传感器。本课题基于3D ToF与ISP技术，研究RAW域、深度域以及点云域的高性能与低功耗硬件处理算法和架构，对于提升3D图像质量、推动3D应用发展具有关键性作用。
初步实现了部分的硬件IP如深度成像、伪彩色转换、深度图滤波补洞以及深度转换点云等，并完成了开发板验证。下一步重点在点云处理的访存优化及架构方向，同时结合RAW域和深度图逐步完善ISP系统，深入开展ISP研究并最终完成3D ISP芯片，推动3D成像的发展。
深度图（左）伪彩色（右）
深度图（左）与点云（右）
失效像素或微孔修复前（左）与后（右）
深度图滤波前（左）后（右）
