[发明专利]时序行为检测方法、时序行为检测装置及终端设备

说明书

本申请适用于计算机视觉技术领域，提供了一种时序行为检测方法、时序行为检测装置及终端设备，包括：从待检测视频中提取出多个行为片段；确定所述多个行为片段中每两个行为片段之间的时间相关系数；根据所述时间相关系数和所述多个行为片段生成图结构数据，其中，所述图结构数据中包括用于表示所述行为片段的节点数据和用于表示两个行为片段之间的时间关联关系的连接数据；根据所述图结构数据检测所述多个行为片段各自的行为标签和时间边界。通过上述方法，能够有效提高时序行为检测的精度。

技术领域

本申请属于计算机视觉技术领域，尤其涉及一种时序行为检测方法、时序 行为检测装置及终端设备。

背景技术

时序行为检测技术是一种检测视频中的行为片段的行为类别和时间界限 (开始时间和结束时间)的技术。该项技术是理解视频中目标对象的行为的一 种重要技术手段，是理解视频内容的关键。例如，可以基于时序行为检测技术 快速定位出球赛视频中某个运动行为(如点球等)的视频片段，以便于对该运 动行为进行分析。

现有的时序行为检测方法，通常是提取一段视频中的行为片段，然后针对 每个行为片段进行分类和回归分析，获得每个行为片段的行为类别和时间界限。 由于行为之间可能存在关联，而现有方法中是对每个行为片段进行单独处理， 这将会丢失掉部分行为特征，无法获得准确的检测结果。

发明内容

本申请实施例提供了一种时序行为检测方法、时序行为检测装置及终端设 备，可以提高时序行为检测的精度。

第一方面，本申请实施例提供了一种时序行为检测方法，包括：

从待检测视频中提取出多个行为片段；

确定所述多个行为片段中每两个行为片段之间的时间相关系数；

根据所述时间相关系数和所述多个行为片段生成图结构数据，其中，所述 图结构数据中包括用于表示所述行为片段的节点数据和用于表示两个行为片段 之间的时间关联关系的连接数据；

根据所述图结构数据检测所述多个行为片段各自的行为标签和时间边界。

本申请实施例中，由于确定出的每两个行为片段之间的时间相关系数能够 反映出每两个行为片段之间的时序关系，使得根据时间相关系数和行为片段生 成的图结构数据中既包含了每个行为片段自身的行为特征信息，又包含了各个 行为片段之间的时序特征信息。因此，根据图结构数据进行时序行为检测，相 当于同时考虑了每个行为片段本身的行为特征信息和各个行为片段之间的时序 特征信息。通过上述方法，能够有效提高时序行为检测的精度。

在第一方面的一种可能的实现方式中，在所述确定所述多个行为片段中每 两个行为片段之间的时间相关系数的步骤中，任意两个行为片段之间的时间相 关系数的确定方法，包括：

计算所述两个行为片段之间的时间交并比；

将所述时间交并比确定为所述两个行为片段之间的时间相关系数。

在第一方面的一种可能的实现方式中，所述根据所述时间相关系数和所述 多个行为片段生成图结构数据，包括：

生成满足预设条件的每两个行为片段之间的时间关联关系，其中，两个行 为片段满足所述预设条件表示所述两个行为片段之间的所述时间相关系数大于 或等于预设阈值；

将所述多个行为片段中的每个行为片段确定为所述图结构数据中的所述节 点数据，将所述时间关联关系确定为所述图结构数据中的所述连接数据。

在第一方面的一种可能的实现方式中，所述根据所述图结构数据检测所述 多个行为片段各自的行为标签和时间边界，包括：

获取所述多个行为片段各自的第一特征向量；