[发明专利]一种基于图像识别与匹配的视频搜索系统

摘要

一种基于图像识别与匹配的视频搜索系统，包括服务器端和用户端两部分，所述服务器端包括视频采集模块、视频文字特征采集模块、视频文字信息分析模块、视频预处理模块、视频内容分析模块、视频特征提取模块、服务器数据库模块、图片特征提取模块、服务器控制模块、用户反馈信息分析处理模块；所述用户端包括用户搜索信息上传模块、视频搜索结果展示模块、搜索结果用户反馈模块。本发明提供一种利用图片搜索视频的方法，具有良好的用户体验，用户可以通过上传一张图片便可以获得与图片内容相关的视频资料信息，返回搜索结果准确、信息量大，可以充分地利用互联网络上的海量视频资源。

主权项

一种基于图像识别与匹配的视频搜索系统，其特征在于：包括服务器端和用户端两部分，所述服务器端包括：视频采集模块、视频文字特征采集模块、视频文字信息分析模块、视频预处理模块、视频内容分析模块、视频特征提取模块、服务器数据库模块、图片特征提取模块、服务器控制模块、用户反馈信息分析处理模块；所述用户端包括：用户搜索信息上传模块、视频搜索结果展示模块、搜索结果用户反馈模块；视频采集模块，实现搜索信息数据库原始资源的构建；通过网络爬虫获取网络视频资源或使用合作视频网站现有的视频资源，采集视频影像及其附加的文字描述、评论信息，将所获得的视频资源送入视频预处理模块，将所获得的文字描述、评论信息送往视频文字特征采集模块；视频文字特征采集模块，获取视频文字的特征；利用获取到的视频的文字描述、评论信息，通过关键词提取，获得文字信息的关键字，获得的信息送往视频文字信息分析模块；视频文字信息分析模块，获取视频资料的文字特征；利用视频文字信息的关键词，分析关键词与视频内容的相关程度，得到描述视频特征的文字关键词，所获得的数据送往服务器数据库；视频预处理模块，获得无污染的视频影像；由于原始视频资料可能会有台标信息、嵌入式字幕信息，这些信息出现在画面上会对视频原始内容产生干扰，此模块对上述这些信息进行特征提取并清除，将获得的视频送往视频内容分析模块；视频内容分析模块，获得视频的内容信息；通过对视频播放过程中画面的整体动态变化的分析，获得视频的内容风格，拆分视频场景，分析场景之间的联系；将所获得的上述数据送往视频特征提取模块；视频特征提取模块，获得视频画面的特征；通过所获得的视频场景信息及整体的视频内容风格，对视频每个场景提取画面特征信息，其中包括画面的变化特征、画面图像特征以及画面中物体的特征，通过视频内容分析模块中所获得的场景联系特征对每个场景的画面特征信息进行校正，最终获得视频特征，将其送往服务器数据库模块；服务器数据库模块，接收视频特征并储存，以备用户搜索；其信息会被服务器控制模块调用，以进行下一步的处理；图像特征提取模块，获得用户上传待搜索图片的特征；对用户上传图片进行图像特征分析，并对用户可能添加的文字信息进行特征分析，获得用户待搜索内容的特征，将其送往服务器控制模块；服务器控制模块，返回用户搜索结果；利用从图像特征提取模块获得用户上传图片的特征信息，在服务器数据库模块中进行查找匹配，将特征符合的视频资源即搜索结果返回，数据发送到用户端的视频搜索信息展示模块；用户反馈信息分析处理模块，校正数据库中视频的特征信息；对从搜索结果用户反馈模块获得的用户反馈信息进行分析，校正数据库中视频的特征信息，校正后的信息仍被送入服务器数据库模块进行存储；用户搜索信息上传模块，获得用户待搜索的内容；基于Html网页实现，将用户上传和输入的待搜索信息上传到图像特征提取模块，所发送信息包括用户搜索内容和用户的ID；视频搜索结果展示模块，向用户展示搜索结果；基于Html网页实现，将用户通过用户搜索信息上传模块上传的内容的搜索结果，即服务器控制模块返回的搜索结果，在用户端进行展示；搜索结果用户反馈模块，获得用户对搜索结果的反馈信息；在客户端视频搜索结果展示模块展示搜索结果时，记录用户获得搜索结果后，选择了那些结果进行浏览，对搜索结果项的浏览时间等信息，将这些信息提交给用户反馈信息分析处理模块进行分析处理；上述预处理模块执行以下要求：(1)对视频在时间维度上进行随机抽样；(2)计算每一个位置上点在每个抽样中的颜色变化幅度和方差；(3)设置一定的阈值，对于方差小于阈值的点，根据其方差与所设阈值，计算该点与视频内容不相关的概率，并进行标记；对于方差大于阈值的点，认为该点与视频内容有关，无需处理；(4)对于(3)中被标记过的点，进行二维的K‑means聚类，将位置比较接近的点划归为一个集合，从而得到多个由点构成的集合，每个集合内的点不相交；(5)对于(4)中得到的每一个集合，计算集合中的点数在该集合凸包区域内的分布概率，概率高的，认为该集合凸包范围内的视频画面与视频内容不相关；(6)对于(5)中获得到的与视频内容不相关的画面区域，即确认是与视频内容无关的，进行标记删除。