[发明专利]一种基于双流时空自动编码机的人体异常行为检测方法

权利要求书

1.一种基于双流时空自动编码机的人体异常行为检测方法，其特征在于包括以下步骤：

(1)数据预处理：提取视频数据训练样本中的视频关键RGB帧并计算对应的光流帧，并对样本进行数据预处理；

(2)时间流空间流分别预训练：提出双流时空自动编码机模型，使用(1)处理后的连续堆叠RGB帧数据和连续堆叠光流帧数据分别预训练双流时空自动编码机中的时间流和空间流，并分别得到时间流和空间流的最小化重建误差；

(3)时间流空间流联合微调：提出联合重建误差，将时间流和空间流进行融合进行联合微调，联合微调的目的是最小化重建误差；

(4)异常判定：经过联合微调后，联合重建误差最小，引入合适的阈值即可进行异常判定。

2.根据权利要求1所述的一种基于双流时空自动编码机的人体异常行为检测方法，其特征在于步骤(1)所示的数据预处理策略，该策略考虑到空间流输入为连续堆叠RGB帧，时间流输入为连续堆叠光流帧，计算出视频关键RGB帧对应的光流帧；此外，该策略考虑到异常检测样本较少且正负样本不平衡，在时间流和空间流上通过具有stride-x采样将输入序列中对象的移动速度提高x倍以在时间维度上进行数据增强。

3.根据权利要求1所述的一种基于双流时空自动编码机的人体异常行为检测方法，其特征在于步骤(2)所示的双流时空自动编码机模型，该模型分解为时间流和空间流两个通道，上下通道采用相同的网络结构：深度卷积自动编码机模型(DSTAE)，采用相同的训练策略，利用无监督学习的方式使用DSTAE模型分别对堆叠RGB帧和堆叠光流帧进行网络预训练，得到对空间流和时间流输入的预测值及重建误差，时间流和空间流分别预训练后，可以分别得到时间流最小重建误差和空间流最小重建误差。

4.根据权利要求1所述的一种基于双流时空自动编码机的人体异常行为检测方法，其特征在于步骤(3)所示的联合微调，提出联合重建误差res_fuse将时间流重建误差res_temporal和空间流重建误差res_spatial进行加权求和，利用联合重建误差将时间流和空间流联合训练进行联合微调，联合微调的准则为：在联合微调过程中，将联合重建误差与期望值进行比较以进行反向传播训练，若小于阈值则停止联合微调，不行则进行下一轮，联合微调的目的是使时间流和空间流的重建误差及联合重建误差都尽可能小。

5.根据权利要求1所述的一种基于双流时空自动编码机的人体异常行为检测方法，其特征在于步骤(4)所示的异常判定，引入阈值σ，若联合重建误差efusee(x)σ，则该帧判定为异常，否则该帧判定为正常。