[发明专利]基于多源异构数据流的人体行为检测方法

权利要求书

1.基于多源异构数据流的人体行为检测方法，其特征在于，包括以下步骤：

步骤S1，使用特征提取器提取视频及传感数据的特征；

步骤S2，使用Boundary-matching network(BMN)作为生成候选时段网络，该网络作用于所有多源数据；

步骤S3，分类模块采用传感数据和视频特征进行事件识别；

所述步骤S1具体步骤如下：实验数据集S，由第一人称视频及对应的传感数据组成；首先，将训练集合S中的视频按照固定时段划分为q个数据片段，每个片段至少包含一个事件；对传感数据以相同操作进行处理，获得对应传感数据段；使用特征提取器对每个数据片段提取特征，并按时间顺序拼接为特征矩阵；同理，将原始传感数据相应地切分成相同数量的片段并依次输入特征提取器，最终得到一个与视频特征相同维度的特征矩阵；

所述步骤S2具体步骤如下：将得到的视频特征与传感特征进行融合，构成多源样本特征；该特征与视频中事件的真实起止时刻相结合对BMN网络进行训练；该网络输出两个列表，分别包含100个开始、结束时刻及对应的概率行向量P_B、P_E；将两向量相乘得到100*100的时段评估矩阵其中P(i,j)代表事件在第i个时刻开始，第j个时刻结束的概率；

所述步骤S3具体步骤如下：根据候选时段模块生成的起止时刻及其概率分布选择相应的数据时段进行分类；以固定时间窗口在数据段上滑动获得n个子段，分类器对各子段进行预测，按照投票机制判定整段类别，先将原始传感数据输入传感数据特征提取器得到传感数据特征；然后将视频特征经过卷积神经网络得到视频片段的深层次特征，最后融合两种特征作为分类器的输入；

所述步骤S2中，BMN网络作为候选时段生成网络，具体包括：

其中，t_n是一个采样点，且t_n∈[t_s-0.25(t_e-t_s)，t_e+0.25(t_e-t_s)]，dec表示只保留小数部分的函数，floor表示只保留整数部分的函数，w_i，j代表事件在第i 0≤i≤100个时刻开始在第j 0≤j≤100个时刻结束的置信度。

2.如权利要求1所述的基于多源异构数据流的人体行为检测方法，其特征在于，所述步骤S1中采用C3D神经网络作为视频特征提取器，得到视觉特征：

其中，l_f＝I_v/σ，l_v是视频的长度，σ是每次输入特征提取器的视频帧数，t_n是一个视频中第n q≤n≤l_f个子视频段，其中，C是特征维度是第n个子视频段的特征，此外，除了选用的特征提取器不同外，传感数据以同样方式处理。