基于3D深度视觉的跌倒检测算法

 

近年来,我国人口老龄化问题日益严峻,老年人的健康问题和日常生活安全问题受到了社会的广泛关注关注和重视。随着年龄的增长,发生意外跌倒的风险对于老年人来说会逐年提高,跌倒后产生的社会成本和经济成本也更高,因此跌倒检测以及报警系统是十分必要的。

目前主要有三类跌倒检测系统:基于穿戴式设备的、基于环境布设的以及基于视觉技术的人体跌倒检测系统。基于穿戴式设备的跌倒检测系统主要是通过可穿戴式的传感器设备,来检测人体运动的速度、加速度等参数信息,根据事先设定的阈值来判断是否发生跌倒。由于其随身携带,因此监控范围不会受到限制。但电源供应则成了一个问题,而且穿戴式设备需要考虑舒适性。

1 基于Apple Watch Series 4的跌倒检测软件

基于环境布设的跌倒检测系统一般是通过压力感应传感器,如铺设压感地砖等来检测跌倒时产生的冲击。其优点不需要携带额外的设备,对用户的活动影响小;缺点是监测区域具有局限性,只有在铺设了传感器的房间才能进行监测,而且一般需要设置多个传感器,成本较高。

基于视觉技术的跌倒检测系统是通过相机来监测人体活动,检测是否发生跌倒。但是RGB相机可能会存在隐私泄露的风险,如卫生间、卧室等隐私场所。很多老年人并不希望在隐私场所安装摄像头,但是这些场景却是最容易发生跌倒等意外情况的,特别是卫生间的地面可能会比较湿滑。因此使用3D相机来进行监测就可合理地解决这一矛盾,因为其只能获得被监测人的轮廓特征,并不能从深度图像中得到彩色图像信息(双目深度相机除外,因为其本质仍然是两个RGB相机),从而保护人的隐私。

图2 基于深度图像的跌倒检测系统

原理分析

如图3跌倒可分为四个阶段,即跌倒前阶段、临界阶段、跌倒后阶段和恢复阶段。在跌倒前阶段,人一般正在进行日常生活中的一些活动,可能偶尔会有突发性的动作,比如迅速地坐下或躺下,但这并不是跌倒,在跌倒检测系统中需要进行区分。在临界阶段时,身体会突然向地面方向运动,速度的变化是其明显的特征,在图中表现为一个较陡的下降曲线。这个阶段持续的时间(T1-T0)十分地短,一般在300~500毫秒左右。在跌倒后阶段,可能会保持静止,一般是会躺在地上,可以通过检测是否长时间静止在地面上来判断跌倒。最终的恢复阶段可能是跌倒者自己还能站起来,或者是在另一个人的帮助下将他扶起来。但是也可能因为无人发现跌倒者且无法依靠自身站起来,则人体重心高度则会如图中虚线所示一直持续保持在较低高度。

图3跌倒的四个阶段

跌倒四个阶段的划分是跌倒检测的基础,通过对各个阶段的特征进行检测,可判断跌倒是否发生,跌倒检测的步骤需要基于这些特征进行合理设定。可以对临界阶段的速度变化或者撞击瞬间的冲击进行直接检测,可以通过对跌倒后阶段的静卧进行间接检测,也可以对多个阶段进行联合检测,提高检测的准确率,减少误报。

 

实例展示

这里我们给出一个基于ToF相机进行跌倒检测的算法实例。ToF相机采集深度图像的识别范围是0.5-4.5米,因此该系统适合在一个中等大小的房间内配置。

算法流程

本例中检测算法的流程图如图4所示。

图4 跌到检测算法流程图

其中主要可分为两个步骤:

(1)人体关节点检测:对深度图像进行背景分割等预处理,从中提取出人体区域,并利用人体姿态估计算法 (http://bat.sjtu.edu.cn/zh/rentizitai/) 来获取关节点数据,通过获取的关节点数据来分析和判断目标人体的运动状态。

(2)跌倒特征检测:利用提取出的关节点对跌倒的特征进行分析和处理,同时选取多个特征(主要检测特征是高度特征速度特征),减少误检和漏检的情况,提高跌倒检测的准确率。选取人体的颈部、脊柱底部、左脚踝3个骨骼点,实时计算骨骼点的离地高度、运动速度,以及在较低高度下的停留时间等参数。如果脊柱底部离地面高度低于H且停留时间大于T,同时骨骼点下降速度大于V,则判定跌倒事件发生。对于一个完整的跌倒检测系统来说,还应该后接语音问询、实时报警等步骤,进一步保障目标安全。

图5 跌倒检测演示效果(GIF)