[发明专利]一种从监控视频中检测跌倒行为的系统及方法

权利要求书

1.一种从监控视频中检测跌倒行为的系统，其特征在于，包括依次连接的关键帧提取模块、行人检测模块、人体关键点检测模块、连续姿态特征编码模块以及输出模块；

所述关键帧提取模块，用于获取监控视频流，并提取视频帧；

所述行人检测模块，用于构建行人检测模型，并设置行人检测模型中检测帧的间隔，根据每个视频帧的图像，利用行人检测模型监控画面中的行人，将行人区域分割为人体区域子图；

所述人体关键点检测模块，用于构建关键点检测模型，并利用所述关键点检测模型从人体区域子图中提取行人的人体关键点，根据所述人体关键点生成人体姿态信息；

所述连续姿态特征编码模块，用于对累积的连续人体姿态信息是否达到预设的阈值进行判断；以及用于对连续的人体姿态信息进行时间域类图像特征编码，得到连续时间域的人体姿态类图像特征张量；

得到连续时间域的人体姿态类图像特征张量包括以下步骤：

初始化一个2×18×18尺寸的张量PI，利用所述张量PI存储连续时间域的人体姿态类图像特征向量，并将连续时间域的人体姿态类图像特征张量的所有元素初始化为0，其表达式如下：

PI(ch,x_i,y_i)＝0

其中，PI(ch,x_i.y_i)表示连续时间域的人体姿态类图像特征向量张量，ch表示张量的第一个维度，x_i和y_i分别表示归一化后的第i个人体关键点的x轴和y轴坐标值；

依据时间顺序，依次将人体姿态信息中的各个关键点的x坐标作为第一通道图像像素值；

所述第一通道图像像素值的映射关系表达式如下：

PI(ch,x_i,y_t)＝p^t(x_i)＝p^t[i×3]

i＝0,1,2,...,17

t＝0,1,2,...,17

ch＝0

其中，p^t[i×3]表示t时刻人体姿态信息中向量的第i×3个元素，p^t表示t时刻的人体姿态信息，p^t(x_i)表示人体姿态信息中第i个人体关键点的x坐标值；

依据时间顺序，依次将人体姿态信息中的各个关键点的y坐标作为第二通道图像像素值；

所述第二通道图像像素值的映射关系表达式如下：

PI(ch,x_i,y_t)＝p^t(y_i)＝p^t[i×3+1]

i＝0,1,2,...,17

t＝0,1,2,...,17

ch＝1

其中，p^t(y_i)表示人体姿态信息中第i个人体关键点的y坐标值，p^t[i×3+1]表示t时刻人体姿态信息中向量的第i×3+1个元素；

根据所述第一通道图像像素值和第二通道图像像素值得到连续时间域的人体姿态类图像特征张量；

所述输出模块，用于根据所述连续时间域的人体姿态类图像特征张量，利用神经网络模型检测跌倒行为，并输出检测结果，完成对跌倒行为的检测。