[发明专利]一种基于MapReduce的数据挖掘算法

说明书

本发明实施例公开了一种基于MapReduce的数据挖掘算法，包括步骤：对MapReduce模型进行包括支配分析、索引分析、提出局限的标号传播和分析大规模图的具体划分在内的扩展；扩展后的MapReduce模型与云计算结合，实现分布式计算机、数据维多计算机虚拟资源的拓展；按照生物信息领域的基因模式进行网络作用分析，获取大规模的网络信息数据内容；通过分布式计算机数据结构对数据交通、传播、文献、信息关系进行引入；通过MapReduce完成预期引入数据的互联网操作下的数据挖掘，MapReduce大规模数据挖掘通过对数据的云平台技术存储，按照变化量、分割量调整数据的叠加汇集值，满足当下大数据规模综合应用，实现MapReduce大规模下数据的综合模式拓展。

技术领域

本发明实施例涉及大数据技术领域，具体涉及一种基于MapReduce的数据挖掘算法。

背景技术

数据挖掘算法是根据数据创建数据挖掘模型的一组试探法和计算，为了创建模型，算法将首先分析提供的数据，并查找特定类型的模式和趋势。

MapReduce是面向大数据并行处理的计算模型、框架和平台，它隐含了以下三层含义：

1)MapReduce是一个基于集群的高性能并行计算平台(ClusterInfrastructure)。它允许用市场上普通的商用服务器构成一个包含数十、数百至数千个节点的分布和并行计算集群；

2)MapReduce是一个并行计算与运行软件框架(SoftwareFramework)。它提供了一个庞大但设计精良的并行计算软件框架，能自动完成计算任务的并行化处理，自动划分计算数据和计算任务，在集群节点上自动分配和执行任务以及收集计算结果，将数据分布存储、数据通信、容错处理等并行计算涉及到的很多系统底层的复杂细节交由系统负责处理，大大减少了软件开发人员的负担；

3)MapReduce是一个并行程序设计模型与方法(ProgrammingModelMethodology)。它借助于函数式程序设计语言Lisp的设计思想，提供了一种简便的并行程序设计方法，用Map和Reduce两个函数编程实现基本的并行计算任务，提供了抽象的操作和并行编程接口，以简单方便地完成大规模数据的编程和计算处理。

但目前基于MapReduce的数据挖掘算法较单一，对于庞大的海量数据无法做到分类索引和批量处理，降低了计算机处理信息的效率。

发明内容

为此，本发明实施例提供一种基于MapReduce的数据挖掘算法，已解决现有技术中，基于MapReduce的数据挖掘算法单一而导致计算机处理信息的效率较低问题。

为了实现上述目的，本发明的实施方式提供如下技术方案：

一种基于MapReduce的数据挖掘算法，包括步骤：

S100、对MapReduce模型进行包括支配分析、索引分析、提出局限的标号传播和分析大规模图的具体划分在内的扩展；

S200、将扩展后的MapReduce模型与云计算结合，形成实现分布式计算机和多维数据数据维多计算机的对虚拟资源的拓展的数据挖掘模型；

S300、利用数据挖掘模型，并按照生物信息领域的基因模式进行网络作用分析，获取大规模的网络信息数据内容；

S400、再通过数据挖掘模型中的通过分布式计算机数据结构将对数据交通、传播、文献、信息关系进行引入数据挖掘模型中；

S500、最后通过数据挖掘模型MapReduce完成预期引入数据的互联网操作下的数据挖掘。

进一步地，在对所述S100中，对MapReduce进行具体划分扩展的依据的具体步骤包括步骤：