[发明专利]一种面向视频大数据的并行数据挖掘方法

说明书

技术领域

本发明涉及一种数据挖掘方法，特别涉及一种面向视频大数据的并行数据挖掘方法。

背景技术

大数据是指无法在一定时间内用传统数据库软件工具对其内容进行抓取、管理和处理的数据集合。大数据具有4个典型特征：大体量、多样性、价值密度低、速度快。海量的公共安全视频作为一种非结构化数据具有大数据的典型特征，而针对视频大数据的数据挖掘是大数据挖掘研究的一个重要方向，也是技术难点。对国内在大数据方面的研究工作进行分析，可以发现目前大数据的研究还比较零散，在大数据处理平台架构上大多基于Hadoop技术，大量的研究集中在大数据的挖掘分析方法上，还没有形成支撑大数据处理平台开发的相关技术体系。而数据挖掘技术在公安工作中的研究与应用尚处于起步阶段，许多公安业务信息系统还停留在初级处理水平，缺乏综合性的开发应用，智能化的分析研判，科学性的决策预警。同时面向公安业务的标准体系尚未完全建立。

由于在实际公共安全业务应用中，大数据挖掘系统通常涉及海量的视频数据，视频大数据的描述及视频索引难以进行；常用数据挖掘算法没有考虑数据的多类别，使得其在非结构化数据的挖掘中很难适用，同时传统的并行挖掘方法运行开销大，适应性很差的问题，这就需要一种能够有效对视频大数据进行索引构建及并行挖掘的方法，以保证视频大数据的高效分析处理，从而支持公共安全领域的业务应用。

发明内容

针对公安等应用领域的视频数据所具有的多样性、价值密度低、处理速度快的要求，研究大数据的并行挖掘技术，从大数据描述、特征提取、数据挖掘及智能关联分析等方面，提出一体化的解决方法。总的来说，本文提供一种面向视频大数据的并行数据挖掘方法，解决视频大数据中关联关系挖掘，高效、智能化分析联动的问题。

本发明的目的通过以下技术方案来实现：

一种面向视频大数据的并行数据挖掘方法，该方法包括：

1）构建视频大数据挖掘系统；

2）大数据索引和描述模块构建视频大数据索引；

3）特征提取、视频摘要加速模块对视频大数据进行关键信息提取过程提供加速；

4）并行数据挖掘算法与策略模块对视频关键信息数据进行挖掘。

所述视频大数据挖掘系统包括：

大数据索引和描述模块，用于构建视频大数据的索引；

特征提取、视频摘要加速模块，用于对支持视频大数据进行智能分析，并基于CUDA实现视频关键特征的提取及视频摘要过程的加速；

并行数据挖掘算法与策略模块，用于对视频数据进行分类、关联分析。

所述视频大数据的索引包括支持各类视频数据的访问层次索引、R树索引和分类索引。

所述并行数据挖掘算法与策略模块采用基于MapReduce编程模型的改进Apriori算法对视频大数据进行数据挖掘，具体步骤如下：

401）MapReduce库将事务数据库进行水平划分，分成n个规模相当的数据子集，把n个数据子集发送到m个执行Map任务的节点；

402）对n个数据子集进行格式化，产生<key1,value1>对，具体格式化为<Tid，list>，这里Tid表示事务数据库中的事务标识符，list为事务数据库中的事务对应的列表值；

403）Map函数的任务是对输入的数据子集的每个记录<Tid，list>进行扫描，产生一个局部候选项集的集合，记作Cp，每个候选项集的支持度计数为1；

404）在每台执行Map任务的机器上增加一个可选的Combiner函数，Combiner函数首先在本地将Map函数输出进行一次合并输出<itemsets,sup>，sup表示itemsets在数据子集中的支持度计数，然后利用分区函数hash(key)mod R将Combiner函数产生的中间键值对分成R个不同的分区，将每个分区分配到指定的Reduce函数；

405）被分配了Reduce任务的节点读取Combiner函数提交的数据<itemsets,sup>，由于许多不同的候选项集会映射到相同的Reduce函数，因此对键值itemsets进行排序使得具有相同候选项集的数据聚合在一起，形成<itemsets,list(sup)>；

406）把比较之后的r个Reduce函数的输出的项Lp集合，就得到最终的频繁项集的集合，记作L。

本发明的优点在于：