类脑感知

创造具有类脑能力的机器一直是AI研究的长远愿景。面向该愿景,实验室在类脑智能算法方面开展的研究包括:类脑在线学习算法、音视频多模态智能处理算法、视觉动作识别与位姿测量算法。

1. 类脑在线学习算法

随着神经形态硬件(类脑芯片)的发展,在边缘设备上实现类脑芯片在线学习以适应设备漂移、环境变化、用户定制等应用场景,成为下一代人工智能的重要发展方向,其核心依赖于高效在线学习算法,能够在片上计算资源受限条件下实现在线实时参数更新。传统深度神经网络使用的反向传播BP算法计算复杂度高,难以胜任片上在线学习。针对该问题,研究低功耗、低延时、低计算复杂度、低内存需求的在线更新学习算法,主要包括BP近似算法:利用SNN网络特性和数学近似改善BP算法,降低内存需求,提高学习效率;仿生局部学习算法:模拟生物神经网络局部可塑性机理,研究高效的、支持并行计算的低复杂度局部学习算法。

2. 音视频多模态智能处理算法

围绕音视频多模态信号智能处理的核心技术开展研究,包括高感知质量图像与语音信号重建理论与方法、2D\3D图像无监督增强学习方法、智能语音处理方法:(1)感知质量约束下的率失真理论,即“码率-失真-感知”三元权衡关系,包括最佳感知质量下的码率-失真模型、失真-感知最优权衡理论等,以最小失真代价实现高感知质量的图像编解码,以及最佳感知质量解码的图像重建方法;(2)无监督2D\3D图像重建的基础理论和最优方法;(3)基于深度学习的智能语音处理技术,包括语音编解码、语音指令识别、语音增强等。

3. 视觉动作识别与位姿测量

(1)研究在高速场景下如何进行快速、准确的人体姿态估计与动作识别技术,特别是在实时场景下,对动作序列流进行有效的划分切割并对人体意图进行有提前量的预测;研究利用强化学习模型对人体行为逻辑进行建模,以及在低数据样本前提下实现模型自学习的有效方法。(2)研究高精度、高鲁棒6D位姿测量估计技术,及其核心的视觉配准技术。