[发明专利]一种基于自编码模型的起重机异常事件检测方法

权利要求书

1.一种基于自编码模型的起重机异常事件检测方法，其特征在于，包括如下步骤：

(1)数据采集：通过不同角度的摄像头采集起重机施工环境的视频，然后截取不同角度的视频，获得一系列带有时序信息的图像，再通过人工识别出正常图像和出现了异常事件的异常图像，并分别对不同的图像进行标注，最后将标注完成的图像分别划分，将正常图像划分为训练集，异常图像划分为测试集；

(2)模型训练：通过编码-解码结构的深度学习方法对训练集进行处理，对于其中一张图像，首先通过编码结构去除不相关的一些信息，得到与起重机相关的一些信息，然后再利用解码结构重建该图像，最后将该图像和原始图像进行比对，若相差小，则判断为未出现异常事件，若相差较大，则认为图中出现了异常事件；

(3)分类定位：在步骤(2)中判断出现了异常事件的情况下，获取编码阶段最后的特征图，然后进一步进行细化，以获得更加精细的特征，然后将提取到的特征图划分为S×S个区域，并对每一个区域进行分类，最后根据分类结果来确定异常情况具体处于哪一个区域内；

(4)测试调整：将步骤(2)中通过训练集学习完成的编码-解码模型应用到测试集，将测试集经处理后的异常图像数量与测试集总数进行比较，达到一定的合格率之后即判断该模型可以使用。

2.如权利要求1所述的一种基于自编码模型的起重机异常事件检测方法，其特征在于：所述步骤(1)中获取的带有时序信息的图像数量不少于100张。

3.如权利要求1所述的一种基于自编码模型的起重机异常事件检测方法，其特征在于：所述步骤(2)中的编码-解码结构模型用如下公式进行描述：

式(a)中，“*”和“°”分别代表卷积运算和Hadamard乘积，输入用X_i，...，X_t表示，单元状态用C_i，...，C_t表示，隐藏状态用H_i，...，H_t表示，i_t，f_t和o_t均是3D张量，“σ”是sigmoid函数，在ConvLSTM中，W_x～和W_h～是二维(2-D)卷积核。

4.如权利要求3所述的一种基于自编码模型的起重机异常事件检测方法，其特征在于：所述步骤(2)中用于对比重建图像和原始图像的差异公式如下：

式(b)中，重建误差E作为矢量值平方和的平方根，X是输入时空特征，是重建的时空特征，T是时间窗口，w是宽度，h是视频帧的高度。

5.如权利要求4所述的一种基于自编码模型的起重机异常事件检测方法，其特征在于：当所得重建误差E的值大于0.5时，判断起重机周围出现了异常事件。

6.如权利要求5所述的一种基于自编码模型的起重机异常事件检测方法，其特征在于：所述步骤(3)中在获取特征图后，利用卷积操作进一步提取更加精细的特征，然后将该特征图划分为S×S个区域，并对每一个区域进行分类，其中分类类别为聚类所得聚类中心的个数k。

7.如权利要求6所述的一种基于自编码模型的起重机异常事件检测方法，其特征在于：所述步骤(3)中分类的方法和结果如下式：

式(c)中，x是输入，y是类别标签，θ＝[θ₁，...，θ_k]是分类器的参数，g(x)包含x属于不同y的概率，需要说明的是，对于每一帧中的第i个子区域，相应的概率表示为g(x)_i＝p(y＝i|x；θ)，其中g(x)的数值越高，该分类区域属于异常情况的概率越高，然后根据θ的标号i的数值来确定对应区域。

8.如权利要求7中所述的一种基于自编码模型的起重机异常事件检测方法，其特征在于：所述步骤(3)中g(x)的数值大于95％时，判断该区域具有异常事件。