[发明专利]基于深度线索的视频场景检索方法和系统

权利要求书

1.一种基于深度线索的视频场景检索方法，其特征在于，包括：

步骤1、获取样本视频，并将该样本视频作为输入视频，发送至步骤2；

步骤2、将输入视频分割为场景片段，根据该场景片段的视频场景信息，采用孪生网络对输入视频的视频帧进行特征提取，对空间信息进行综合描述，计算帧间的有效光流，将所有有效光流对应的空间结构进行组合，获得深度线索，对深度线索构成的空间数据降维，作为空间信息描述子；对输入视频进行帧采样得到关键帧，使用深度神经网络提取该关键帧的特征，作为彩色信息描述子，通过对该样本视频的空间信息描述子与彩色信息描述子建立索引关系，得到场景描述子；

步骤3、对所有样本视频的场景描述子建立视频场景特征库；

步骤4、获取待检索视频，并作为输入视频发送至步骤2，得到该待检索视频的空间信息描述子与彩色信息描述子，并根据该待检索视频的空间信息描述子，对该视频场景特征库进行检索，得到初步检索结果，对该初步检索结果进行彩色特征筛选得到该待检索视频的最终检索结果。

2.如权利要求1所述的基于深度线索的视频场景检索方法，其特征在于，该步骤3还包括：

根据该场景描述子中的空间信息描述子数据与对应的视频名称，通过层次聚类构成视频场景特征库，该视频场景特征库中以层次聚类树的方式存储该场景描述子。

3.如权利要求2所述的基于深度线索的视频场景检索方法，其特征在于，步骤4中该彩色特征筛选包括：

根据该待检索视频的彩色信息描述子，在该视频场景特征库中检索与其匹配的彩色信息描述子，选取匹配的彩色信息描述子对应的视频，作为该最终检索结果。

4.如权利要求1所述的基于深度线索的视频场景检索方法，其特征在于，步骤2中该彩色信息描述子的提取过程包括：

选取当前场景片段开始与结束的两帧，用深度神经网络模型提取图像特征作为彩色信息描述子。

5.一种基于深度线索的视频场景检索系统，其特征在于，包括：

样本获取模块，用于获取样本视频，并将该样本视频作为输入视频，发送至描述子提取模块；

描述子提取模块，用于将输入视频分割为场景片段，根据该场景片段的视频场景信息，采用孪生网络对输入视频的视频帧进行特征提取，对空间信息进行综合描述，计算帧间的有效光流，将所有有效光流对应的空间结构进行组合，获得深度线索，对深度线索构成的空间数据降维，作为空间信息描述子；对输入视频进行帧采样得到关键帧，使用深度神经网络提取该关键帧的特征，作为彩色信息描述子，建立空间信息描述子与彩色特征描述子之间的索引关系，组成场景描述子；

特征库建立模块，根据空间信息描述子数据与对应视频的名称，通过层次聚类构成视频场景特征库，该视频场景特征库中以层次聚类树的方式存储该场景描述子；

检索模块，用于获取待检索视频，并作为输入视频发送至该描述子提取模块，得到该待检索视频的空间信息描述子与彩色信息描述子，并根据该待检索视频的空间信息描述子，对该视频场景特征库进行检索，得到初步检索结果，对该初步检索结果进行彩色特征筛选得到该待检索视频的最终检索结果。

6.如权利要求5所述的基于深度线索的视频场景检索系统，其特征在于，检索模块中该彩色特征筛选包括：

根据该待检索视频的彩色信息描述子，在该视频场景特征库中检索与其匹配的彩色信息描述子，选取匹配的彩色信息描述子对应的视频，作为该最终检索结果。

7.如权利要求5所述的基于深度线索的视频场景检索系统，其特征在于，描述子提取模块中该彩色信息描述子的提取过程包括：

选取当前场景片段开始与结束的两帧，用深度神经网络模型提取图像特征作为彩色信息描述子。