[发明专利]违规行为图像的检索方法、装置、设备及存储介质

权利要求书

1.一种违规行为图像的检索方法，其特征在于，所述违规行为图像的检索方法包括：

获取实时采集的行为监控音视频流，并对所述行为监控音视频流进行分帧处理，得到目标行为图像集；

通过预先训练好的违规行为识别模型，对所述目标行为图像集进行违规行为检测，得到初始违规图像，并按照预置数据结构将所述初始违规图像存储至目标数据库；

获取待搜索语音数据，并对所述待搜索语音数据进行语音识别，得到待搜索文本信息；

通过训练好的自然语句转换模型，将所述待搜索文本信息转换为数据库查询语句；

通过所述数据库查询语句，从所述目标数据库中查找所述待搜索语音数据对应的目标违规图像。

2.根据权利要求1所述的违规行为图像的检索方法，其特征在于，所述获取实时采集的行为监控音视频流，并对所述行为监控音视频流进行分帧处理，得到目标行为图像集，包括：

实时对监控摄像头采集的音视频流进行拉流处理，得到行为监控音视频流；

按照预置帧率，对所述行为监控音视频流进行分帧处理，得到初始行为图像集；

对所述初始行为图像集进行画面变动检测，得到检测结果，并通过所述检测结果对所述初始行为图像集进行降噪处理，得到目标行为图像集。

3.根据权利要求2所述的违规行为图像的检索方法，其特征在于，所述对所述初始行为图像集进行画面变动检测，得到检测结果，并通过所述检测结果对所述初始行为图像集进行降噪处理，得到目标行为图像集，包括：

对所述初始行为图像集进行灰度图像转换，得到多帧灰度图像，并提取各帧灰度图像中每个像素点的灰度值，得到各帧灰度图像对应的灰度值矩阵；

按照所述行为监控音视频流的分帧顺序，对相邻帧灰度图像对应的灰度值矩阵进行灰度差值计算，得到计算结果，并根据所述计算结果确定所述初始行为图像集中的静止画面图像和运动画面图像；

将所述初始行为图像集中的静止画面图像剔除，得到目标行为图像集。

4.根据权利要求1所述的违规行为图像的检索方法，其特征在于，所述通过预先训练好的违规行为识别模型，对所述目标行为图像集进行违规行为检测，得到初始违规图像，并按照预置数据结构将所述初始违规图像存储至目标数据库，包括：

初始化预先训练好的违规行为识别模型，所述训练好的违规行为识别模型包括多个级联的检测网络，每个检测网络对应不同的交并比阈值；

通过各检测网络对所述目标行为图像集进行违规行为识别，并将交并比阈值最大的检测网络的输出设置为违规行为检测结果；

根据所述违规行为检测结果，从所述目标行为图像集中提取违规图像，得到初始违规图像，并按照预置数据结构将所述初始违规图像存储至目标数据库。

5.根据权利要求4所述的违规行为图像的检索方法，其特征在于，所述根据所述违规行为检测结果，从所述目标行为图像集中提取违规图像，得到初始违规图像，并按照预置数据结构将所述初始违规图像存储至目标数据库，包括：

根据所述违规行为检测结果，从所述目标行为图像集中提取违规图像，得到初始违规图像，并生成所述初始违规图像对应的图像标识符；

将所述初始违规图像存储至预置的分布式文件库，得到图像存储路径信息；

获取所述初始违规图像的违规对象信息、图像信息和违规信息，并按照预置数据结构将所述图像存储路径信息、所述图像标识符、所述违规对象信息、所述图像信息和所述违规信息存储至目标数据库。

6.根据权利要求1所述的违规行为图像的检索方法，其特征在于，所述通过训练好的自然语句转换模型，将所述待搜索文本信息转换为数据库查询语句，包括：

初始化训练好的自然语句转换模型，并通过所述自然语言转换模型中的BERT网络对所述待搜索文本信息进行编码，得到文本编码向量；

通过所述自然语言转换模型中的分类器对所述文本编码向量进行全局分类，得到分类结果，所述分类结果包括表格名称、列名称和运算符；

根据所述分类结果中的表格名称、列名称和运算符，生成所述待搜索文本信息对应的数据库查询语句。