[发明专利]分布式视频垂直搜索方法及系统

摘要

本发明提供了一种分布式视频垂直搜索方法及系统，该方法包括离线处理步骤和在线处理步骤，在离线处理中包括视频采集、视频存储、视频信息的索引创建；在线处理步骤中包括用户交互、视频检索。本发明的有益效果是本发明基于视频领域，提出一种基于Hadoop和ElasticSearch的分布式视频垂直搜索的技术方案，对于海量视频数据，提出一种有效的分布式搜索方案，解决了海量视频的批量快速采集、实时搜索等问题，从而实现了高效的实时搜索、离线处理海量视频的快速采集工作。

主权项

一种分布式视频垂直搜索方法，其特征在于，包括离线处理步骤和在线处理步骤；离线处理步骤中包括：A.视频采集步骤：获取视频数据资源；B.视频存储步骤：将视频采集步骤中获取的视频数据资源存入数据库中；C.视频信息的索引创建步骤：创建分布式索引；在线处理步骤中包括：用户交互步骤：提供搜索输入界面、返回展示界面；视频检索步骤：根据搜索输入界面输入的搜索关键词进行视频检索，将检索到的视频数据通过返回展示界面进行显示；在所述视频采集步骤中，通过互联网视频开放平台提供的API获取视频资源，此过程运行在Hadoop集群之上，通过Map任务，访问视频开放平台服务器，获取视频JSON格式的数据并解析成自己定义的视频类的格式，循环获取直到Map任务结束；在所述视频存储步骤中，视频存储过程运行于Hadoop集群和HBase集群之上，通过Reduce过程把视频采集步骤中获取的视频信息进行解析，再获取分布式数据库HBase的存储入口，将视频信息存入事先定义的视频库中，循环直到Reduce任务结束；在视频信息的索引创建步骤中，视频信息的索引创建运行于HBase集群和ElasticSearch集群之上，首先获取HBase数据库中的视频信息，再通过封装ElasticSearch的索引创建接口来创建分布式索引分片和索引副本，索引存储于ElasticSearch集群之上，直到HBase视频库中视频数据创建完毕，此过程结束；视频检索步骤运行于ElasticSearch集群之上；在所述视频信息的索引创建步骤中包括如下步骤：C1.连接HBase分布式数据库，获取视频信息；C2.将获取的视频信息打包成JSON类型的数据；C3.获得JSON类型的视频信息，经过一个hash过程把相应的视频分配到对应的索引分片当中建立索引，索引完成后进行副本的创建；C4.判断数据库中视频数据是否完成，如是，则结束；否则跳到步骤C1继续执行。