[发明专利]一种基于双流网络的跌倒检测算法

权利要求书

1.一种基于双流网络的跌倒检测算法，其特征在于：所述基于双流网络的跌倒检测算法包括数据集、数据预处理模块、特征提取模块、数据传输模块、长短时记忆网络、双流网络模块，所述数据集的输出端与数据预处理模块的的输入端连接，所述数据预处理模块的输出端与特征提取模块的输入端连接，所述特征提取模块的输出端与双流网络模块的输入端连接，所述双流网络模块的输出端与数据传输模块的输入端连接。

2.如权利要求1所述的一种基于双流网络的跌倒检测算法，其特征在于：所述数据集是通过4个Kinect摄像头模拟室内监控视角，然后再3个人类生活场景中(正常行走，坐，趟)模拟跌倒的行为，所述数据集一共有40位实验者，男女各20名，年龄在18-30周岁之间，一共设计了20种动作，几乎囊括了生活会发生的动作以及意外跌倒情况，每个动作每名实验者进行3次模拟行为，并通过4个Kinect摄像头模拟监控视角进行记录，最终一共有9600段行为视屏片段，总计8小时。

3.如权利要求1所述的一种基于双流网络的跌倒检测算法，其特征在于：所述数据预处理模块主要负责对数据集中的数据进行分类，由于动作的持续时间比较短，跌倒的动作是少于非跌倒动作的，所以存在数据不平衡的问题，作为少量样本的跌倒数据显然更为重要，如果直接使用未经处理的跌倒样本数据集进行训练，分类器会因为是少量样本而做出直接忽略的选择，从而并不能正确的检测出跌倒动作。

4.如权利要求3所述的一种基于双流网络的跌倒检测算法，其特征在于：所述实验数据不平衡有两类方法可以，其中第一类是通过算法与损失函数来进行平衡样本，如KaimingHe等通过Focal loss来解决样本不平衡的问题，第二类就是在数据集层面上来解决样本不平衡的问题，即方法是通过在训练的过程中的增强样本数量，使得正负样本趋向平衡，我们采用的是第二类方法来解决自制跌倒数据集样本不平衡的问题，即通过增加训练集中的跌倒样本，同时训练集不会做这种处理，是为了保持模型测试的可靠性。

5.如权利要求1所述的一种基于双流网络的跌倒检测算法，其特征在于：所述双流网络模块为两条2D卷积并行的神经网络结构，使得基于深度学习的视屏动作学习算法所取得的效果超过了以稠密轨迹特征为代表的的传统算法，双流网络卷积是依靠两条相同的卷积通路，这两条卷积网络相互独立，分别输入单帧的RGB图片和堆叠的光流图片，通过两条网络对空间信息与时序信息进行训练，然后再将两者进行融合最后用Softmax进行分类。

6.如权利要求1所述的一种基于双流网络的跌倒检测算法，其特征在于：所述长短时记忆网络又叫做LSTM，是一种更为特殊的RNN网络，该网络被设计出来就是为了解决长时间以来的问题，LSTM由三个门来控制动作状态，这三个门分别称为忘记门、输入门和输出门，LSTM的第一步就是决定动作状态需要丢弃哪些信息，这部分操作是通过一个称为忘记门的sigmoid单元来处理的，下一步是决定给动作状态添加哪些新的信息，通过过一个称为输入门的操作来决定更新哪些信息，这些信息可能会被更新到动作信息中，最后是输出门，该门的主要功能就是确定单元的输出值。