[发明专利]一种基于卷积和图卷积的违规行为识别方法

说明书

本发明公开了一种基于卷积和图卷积的违规行为识别方法，其包括以下顺序步骤：S1：采集行为对象图像，建立图像数据库；S2：采用人体姿态提取方案HigherHRNet从图像数据库中提取每个行为对象的姿态；S3：对HigherHRNet进行部分优化；S4：基于HigherHRNet识别的关键点位姿信息，构建无向图，并对其进行预处理增强；S5：确定违规的异常类型。本发明改进关键点检测模块，在保持其精度的同时，让其能够更快的提取关键点信息；运用各种无向图的数据增强模式来提高数据的多样性，让我们的训练模型具有更强的泛化能力；将视频序列转换成无向图序列构建3D特征图空间，基于3D特征图提取特征信息，以此提高违规行为识别算法的准确性。

技术领域

本发明涉及行为分析领域，尤其涉及一种基于卷积和图卷积的违规行为识别方法。

背景技术

目前，基于AI算法的视频违规检测在我国还是属于一个新兴的领域，随着越来越多的企业和学者对这块领域的关注和投资，视频违规检测领域正飞速发展和成熟，应用范围也越来越广。

一般对视频资料做审查有以下两种方法：一种是通过审查员对每个视频逐帧进行扔审查，一个视频资料可能需要多个审查员，人力成本大，并且由于是人工审查，难免会有审查员疲劳出错漏审错审的情况，准确率不高，且容易受环境影响；还有一种是通过视频违规检测系统将疑似违规图片抽取出来供工作人员抽查，这种方法效率高，但由于只能通过静态图片对行为对象行为进行分析，因此可信度低，出错率也高。

目前基于深度学习的违规行为识别算法大多停留在图片识别阶段，很多违规识别都没有利用视频的序列信息，而想要完成一个行为的检测只靠一张图片很容易造成误识别。

目前基于行为识别的算法大多针对单人的行为识别。

不同姿态行为数据较少，不易收集，导致训练的结果在实际的应用场景鲁棒性不强。

在申请号为CN201811489325.5的发明专利申请文件中提到了一种基于多任务时空卷积神经网络的视频驾驶员行为识别方法，将多任务学习策略引入到时空卷积神经网络的训练过程并应用于监控视频中的驾驶员行为识别，辅助的驾驶员定位和光流估计任务隐含地嵌入到视频分类任务中，促进卷积神经网络模型学习到更丰富的驾驶员局部空间和运动时间特征，以提升驾驶员行为识别的准确率。

在申请号为CN201711340444.X的发明专利申请文件中提到了一种基于深度卷积特征的视频行为识别方法，其中有提到：视频作为比图片能承载更多信息的载体，已经逐渐成为生活中一种最重要的视觉数据。视频行为识别技术作为视频分析与理解的基本技术，正受到越来越多学者和工程师的关注。一方面，行为识别在生活生产上应用广泛，诸如实现智能、自动驾驶等。另一方面，行为识别可以推动视频分析理解技术的发展，进一步推动网络视频的传输、存储、网络视频个性推荐等技术的进步。与图像分类任务相比，基于视频的分类在提取特征过程中，除了提取静态特征之外，还需要考虑时间特征，比如提取光流特征和轨迹特征，复杂度更高。在提取特征时，需要考虑分辨率、光照、遮挡、杂乱背景等变化带来的影响，除此之外，需要考虑如何合理地融合空间特征和时间特征等问题。以上种种使得视频行为识别成为在视觉领域中一个极具挑战性的课题。

发明内容

本发明的目的在于提供一种基于卷积和图卷积的违规行为识别方法，旨在解决现有技术中行为识别算法大多只能识别单人、多人识别数据收集成本较高的技术问题。

为实现上述目的，本发明提出一种基于卷积和图卷积的违规行为识别方法，包括以下顺序步骤：

S1：采集行为对象图像，建立图像数据库；

S2：采用人体姿态提取方案HigherHRNet从图像数据库中提取每个行为对象的姿态；

S3：对HigherHRNet进行部分优化；

S4：基于HigherHRNet识别的关键点位姿信息，构建无向图，并对其进行预处理增强；

S5：确定违规的异常类型。