[发明专利]一种基于图像识别与匹配的视频搜索系统

说明书

技术领域

本发明涉及一种视频搜索系统，涉及互联网搜索及视频处理。

背景技术

早在2011年，全球互联网消费者总流量中视频播放的流量所占比例已经超过了50％，还不包括通过P2P方式下载视频文件所消耗的流量。视频信息已占据了互联网所有信息的主要部分。而且，视频中蕴含了极其丰富的信息，这是文字信息所无法替代的。而对于如此丰富的信息资源，目前的索引方式仅仅是通过视频发布者对其添加的非常简短的描述来实现，可见视频中被浪费掉的潜在资源是非常丰富的。我们希望通过这种方式，充分利用视频中的潜在资源，为用户提供更加丰富的搜索结果信息，为一些特殊的行业领域，例如历史视频文献、新闻视频追踪提供一种新的解决方案。

现在中也有少量通过图片搜索视频的服务平台，但是基本上都集中在国外，且多为概念产品。少量提供者也很难提供精确的搜索结果，充分利用视频特征。

发明内容

本发明的技术解决问题是：克服现有技术的不足，提供一种通过图片搜索视频的服务系统及使用平台，用户通过一张图片就可以获得图片相关的视频资料或影像文献的信息、图片的来源以及图片的主体内容。为用户提供了一种更加便捷有效地查找视频资料的方式，提供更加丰富的搜索结果展示形式。

本发明技术解决方案：一种基于图像识别与匹配的视频搜索系统，包括服务器端和用户端两部分。服务器端包括视频采集模块、视频文字特征采集模块、视频文字信息分析模块、视频预处理模块、视频内容分析模块、视频特征提取模块、服务器数据库模块、图片特征提取模块、服务器控制模块、用户反馈信息分析处理模块；用户端包括用户搜索信息上传模块、视频搜索结果展示模块、搜索结果用户反馈模块。

视频采集模块，实现搜索信息数据库原始资源的构建；通过网络爬虫获取网络视频资料或使用合作视频网站现有的视频内容资源，采集视频资料及其附加的文字描述、评论信息，将所获得的视频资源送入视频预处理模块，将所获得的文字资料送往视频文字特征采集模块；

视频文字特征采集模块，获取视频文字的特征；利用获取到的视频的文字描述、评论信息，通过关键词提取，获得文字信息的关键字，获得的信息送往视频文字信息分析模块；

视频文字信息分析模块，获取视频资料的文字特征；利用视频文字信息的关键词，分析关键词与视频内容的相关程度，得到描述视频特征的文字关键词，所获得的数据送往服务器数据库；

视频预处理模块，获得无污染的视频影像；由于原始视频资料可能会有台标、嵌入式字幕等信息，这些信息出现在画面上会对视频原始内容产生一定的干扰，此模块对此类信息进行特征提取并清除，将获得的视频送往视频内容分析模块；

视频内容分析模块，获得视频的内容信息；通过对视频播放过程中画面的整体动态变化的分析，获得视频的内容风格，拆分视频场景，分析场景之间的联系；将所获得的上述数据送往视频特征提取模块；

视频特征提取模块，获得视频画面的特征；通过所获得的视频场景信息及整体的视频内容风格，对视频每个场景提取画面特征信息，其中包括画面的变化特征、画面图像特征以及画面中物体的特征。通过视频内容分析模块中所获得的场景联系特征对上述信息进行校正，最终获得视频特征，将其送往服务器数据库模块；

服务器数据库模块，接收视频特征并储存，以备用户搜索；其信息会被服务器控制模块调用，以进行下一步的处理；

图像特征提取模块，获得用户上传待搜索图片的特征；对用户上传图片进行图像特征分析，并对用户可能添加的文字信息进行特征分析，获得用户待搜索内容的特征，将其送往服务器控制模块；

服务器控制模块，返回用户搜索结果；利用从图像特征提取模块获得用户上传图片的特征信息，在服务器数据库模块中进行查找匹配，将特征符合的视频资源即搜索结果返回，数据发送到用户端的视频搜索信息展示模块；

用户反馈信息分析处理模块，校正数据库中视频的特征信息；对从搜索结果用户反馈模块获得的用户反馈信息进行分析，校正数据库中视频的特征信息，校正后的信息仍被送入服务器数据库模块进行存储；

用户搜索信息上传模块，获得用户待搜索的内容；基于Html网页实现，将用户上传和输入的待搜索信息上传到图像特征提取模块，所发送信息包括用户搜索内容和用户的ID；

视频搜索结果展示模块，向用户展示搜索结果；基于Html网页实现，将用户通过用户搜索信息上传模块上传的内容的搜索结果，即服务器控制模块返回的搜索结果，在用户端进行展示；