[发明专利]一种基于半监督学习的时序行为检测方法及系统

说明书

本发明涉及一种基于半监督学习的时序行为检测方法及系统，该方法包括：获取视频的时空特征并构建训练集和测试集；获取一个端到端的时序行为检测模型；将训练集输入时序行为检测模型得到分类分数和位置偏移量；然后对时序行为检测模型进行学习优化得到初始模型参数；根据时空特征计算扰动噪声特征；构建学生模型和教师模型；根据初始模型参数对学生模型和教师模型进行初始化；将扰动噪声特征输入初始化学生模型，将时空特征输入初始化教师模型；根据初始化学生模型和初始化教师模型的输出结果对初始化教师模型进行优化；将测试集输入优化后的教师模型得到当前视频中包含的动作类别和动作的时间边界。本发明能够提升行为检测的准确度。

技术领域

本发明涉及行为检测领域，特别是涉及一种基于半监督学习的时序行为检测方法及系统。

背景技术

近年来，视频数量大量增长，其中一个非常重要的主体是人类执行的活动和行为。这促使了行为识别在计算机视觉领域的广泛研究，其在视频监控、人机交互、医疗保健系统中有着广阔的应用前景。时序行为检测是由行为识别发展而来，行为识别主要针对分割好的动作视频，行为检测主要针对未分割的动作视频，它的目标就是在一段未分割的长视频中找出每一个动作的开始时间、结束时间以及识别出动作的类别。在现实应用中，真实的视频数据大都是未剪辑过的，包含多个动作或无动作的长视频，所以行为检测在各个领域中都有更实际的应用价值和研究意义。

为了实现较高的预测精度，大多数现有的最先进的动作检测算法都使用监督深度学习方法。这种方法需要大量的标记视频，在未修剪的视频中标记动作的时间边界更耗时还会因人而异。另一方面是无监督学习方法，训练不需要标签，但总体性能通常不可避免地比监督方法差。当有大量的数据可用，但只有一小部分被标记时，半监督学习是一个很好的解决方案。半监督学习仍然利用标记数据作为强大的监督，以获得较高的预测精度，同时半监督学习不太可能在小标记数据集上过拟合，因为它可以利用未标记数据。所以，基于半监督学习的时序行为检测方法就可以在数据集中只包含部分标记的视频时，利用未标记的视频，定位出动作的开始和结束以及类别，同时也可以获得较高的预测精度。

目前半监督时序行为检测的相关研究工作比较少见，可以从半监督目标检测的角度来讨论。半监督目标检测大都基于深度卷积神经网络对图像特征进行提取，然后利用监督目标检测器首先对标记数据部分进行预训练，然后构建半监督学习框架来利用未标记的数据，通常包含基于一致性和基于伪标签的方法。因为目标检测和时序行为检测这两个任务有一定的相似性，因此本发明是基于半监督学习的时序行为检测方法，通过学生和教师模型循环学习的模型来利用未标记的样本，并对样本的不平衡进行动态加权，并以此迭代训练模型。

发明内容

本发明的目的是提供一种基于半监督学习的时序行为检测方法及系统，利用本发明的方法能够提升行为检测的准确度。

为实现上述目的，本发明提供了如下方案：

一种基于半监督学习的时序行为检测方法，包括：

获取视频的时空特征；

根据所述时空特征构建训练集和测试集，所述训练集包括有标签数据和无标签数据；

获取一个端到端的时序行为检测模型；

将所述训练集输入时序行为检测模型得到分类分数和位置偏移量；

利用所述有标签数据、分类分数和位置偏移量对所述时序行为检测模型进行学习优化，得到初始模型参数；

根据所述时空特征计算扰动噪声特征；

构建学生模型和教师模型，所述学生模型和教师模型结构相同；

根据所述初始模型参数对所述学生模型和教师模型进行初始化，得到初始化学生模型和初始化教师模型；

将所述扰动噪声特征输入初始化学生模型，将所述时空特征输入初始化教师模型；