[发明专利]设备工件异常动作的检测方法、装置和电子设备

权利要求书

1.一种设备工件异常动作的检测方法，其特征在于，包括：

通过第一线程实时对待检测设备工件的视频流进行视频帧拉取处理，并将得到的待检测视频帧存储至所述第一线程的数据队列中；

当所述数据队列中的待检测视频帧达到预设数量后，通过第二线程复制所述数据队列中的多帧待检测视频帧，并清空所述数据队列中存储的待检测视频帧；

所述第二线程对多帧所述待检测视频帧进行预处理，得到多帧处理后的待检测视频帧；

所述第二线程采用视频动作分析模型对多帧所述处理后的待检测视频帧进行动作分析，得到所述待检测设备工件的异常动作检测结果，其中，所述预处理和所述动作分析的耗时和不大于所述数据队列存储预设数量的待检测视频帧的耗时。

2.根据权利要求1所述的方法，其特征在于，在通过第一线程实时对待检测设备工件的视频流进行视频帧拉取处理之前，所述方法还包括：

获取图像采集装置对所述待检测设备工件进行拍摄得到的所述待检测设备工件的视频流。

3.根据权利要求1所述的方法，其特征在于，所述第二线程对多帧所述待检测视频帧进行预处理，包括：

所述第二线程对多帧所述待检测视频帧进行归一化处理，得到多帧归一化处理后的待检测视频帧；

所述第二线程对多帧所述归一化处理后的待检测视频帧进行双线性插值处理，得到多帧所述处理后的待检测视频帧。

4.根据权利要求1所述的方法，其特征在于，所述第二线程采用视频动作分析模型对多帧所述处理后的待检测视频帧进行动作分析，得到所述待检测设备工件的异常动作检测结果，包括：

将多帧所述处理后的待检测视频帧输入至所述视频动作分析模型，输出得到多帧所述待检测视频帧属于每种异常动作类别的概率；

将所述概率中最大概率对应的异常动作类别作为所述待检测设备工件的异常动作检测结果。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

部署原始视频动作分析模型，其中，所述原始视频动作分析模型的网络结构为基于movinet的网络结构；

根据设备工件的原始视频流确定训练样本，并对各训练样本进行异常动作类别标注，其中，每个所述训练样本包括所述预设数量的设备工件的视频帧；

通过所述训练样本对所述原始视频动作分析模型进行训练，得到所述视频动作分析模型。

6.根据权利要求5所述的方法，其特征在于，根据设备工件的原始视频流确定训练样本，包括：

对所述原始视频流进行裁剪，裁剪得到多个视频片段，其中，每个所述视频片段携带有异常动作类别的信息；

按照预设采样帧率对每个所述视频片段进行视频帧采样，得到多组视频帧，其中，每组所述视频帧携带有异常动作类别的信息；

对每组所述视频帧中的各个视频帧进行预处理，得到所述训练样本。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述待检测设备工件的异常动作检测结果表示所述待检测设备工件存在异常动作，则进行报警。

8.一种设备工件异常动作的检测装置，其特征在于，包括：

视频帧拉取处理单元，用于通过第一线程实时对待检测设备工件的视频流进行视频帧拉取处理，并将得到的待检测视频帧存储至所述第一线程的数据队列中；

复制单元，用于当所述数据队列中的待检测视频帧达到预设数量后，通过第二线程复制所述数据队列中的多帧待检测视频帧，并清空所述数据队列中存储的待检测视频帧；

预处理单元，用于所述第二线程对多帧所述待检测视频帧进行预处理，得到多帧处理后的待检测视频帧；

动作分析单元，用于所述第二线程采用视频动作分析模型对多帧所述处理后的待检测视频帧进行动作分析，得到所述待检测设备工件的异常动作检测结果，其中，所述预处理和所述动作分析的耗时和不大于所述数据队列存储预设数量的待检测视频帧的耗时。