[发明专利]一种面向开放域查询的视频片段搜索方法及系统

说明书

本发明属于互联网技术领域，提供了一种面向开放域查询的视频片段搜索方法及系统。该方法包括，获取视频数据和自然语言查询描述数据；基于自然语言查询描述数据，采用预训练的词语编码模型，得到自然语言查询描述表示；基于视频数据，得到候选时序视频片段；计算自然语言查询描述表示与候选时序视频片段的相似度分数，选取相似度分数最高的候选视频片段作为目标视频片段；训练包括：获取维基百科文本语料库数据和知识图谱数据；构建词语编码模型；基于维基百科文本语料库数据和知识图谱数据，训练词语编码模型，得到预训练的词语编码模型。本发明通过融入知识图谱，增强开放域查询描述中关键词语信息的理解，获得更精准的开放域自然语言查询表示。

技术领域

本发明属于互联网技术领域，尤其涉及一种面向开放域查询的视频片段搜索方法及系统。

背景技术

本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。

随着移动影像捕捉设备以及监控设备的日益普及，视频数量呈现指数级增长，基于自然语言的人机交互行为变得越来越普及。其中，基于自然语言查询的视频行为片段搜索——从视频流中搜索出与给定查询描述一致的时序行为片段广泛得到工业界和学术界的关注，因其在智能监控和安防等领域的重要应用意义。

虽然现有基于自然语言查询描述的视频行为片段搜索研究取得不错的进展，但是它们很难精准泛化应用于真实场景中。其主要原因如下：

1）它们均借助封闭数据集上训练的词嵌入模型，对查询语句中词语进行编码。然而，真实开放场景每天都会有新生事物产生，伴随而之产生的还有新行为。显然地，封闭数据集上预训练得到的词嵌入模型，无法对开放域中的不断涌现的新物体或行为信息进行精准理解与编码；

2）它们均借助于预训练好的语法解析工具包（如，语义角色树）对复杂查询描述进行分解。但是，由于封闭场景和开放场景中数据分布的差异性，现有语法解析工具很难精准地对开放域自然语言查询进行结构化分解，继而无法准确地理解查询语句内容。

由此可见，对开放场景视频目标行为搜索而言，开放域的自然语言查询语句的完备理解与表示是一个亟待探究的问题。

发明内容

为了解决上述背景技术中存在的技术问题，本发明提供一种面向开放域查询的视频片段搜索方法及系统，其通过融入知识图谱信息，增强开放域查询描述中关键词语信息的理解，同时结合一种数据驱动的语句结构化解析方法，自适应地对查询语句进行多粒度分解，加深对开放域查询语句的理解与编码，从而获得更精准的开放域自然语言查询表示，以进一步提升目标行为片段搜索的精准度。

为了实现上述目的，本发明采用如下技术方案：

本发明的第一个方面提供一种面向开放域查询的视频片段搜索方法。

一种面向开放域查询的视频流行为片段搜索方法，包括：

获取视频数据和自然语言查询描述数据；

基于自然语言查询描述数据，采用预训练的词语编码模型，得到自然语言查询描述表示；

基于视频数据，得到候选时序视频片段；

计算自然语言查询描述表示与候选时序视频片段的相似度分数，选取相似度分数最高的候选视频片段作为目标视频片段；

所述词语编码模型训练的过程包括：获取维基百科文本语料库数据和知识图谱数据；构建词语编码模型；基于维基百科文本语料库数据和知识图谱数据，训练词语编码模型，得到预训练的词语编码模型。

进一步地，所述基于视频数据，得到候选时序视频片段的具体过程包括：

根据视频数据，提取视频帧，得到视频单元，采用C3D网络提取视频单元，依据视频单元构建二维时序矩阵；对二维时序矩阵中的视频单元进行最大池化处理，得到候选视频时序动作片段。