[发明专利]基于云计算的数据挖掘REST服务平台

说明书

一种基于云计算的数据挖掘REST服务平台，包括：云计算集群层，用于提供云存储及并行计算能力；算法引擎层，用于提供并行数据挖掘能力，提供各种并行算法库；数据挖掘服务引擎层，用于对外提供挖掘云服务，所有服务以Restful接口对外暴露；云挖掘服务SDK，用于提供一种本地调用挖掘云服务的方式，通过在其他业务系统中引入云挖掘服务SDK，在业务系统中使用数据挖掘、数据分析功能。本发明有效适用于海量数据处理、产品收益较高。

技术领域

本发明涉及数据挖掘技术领域，尤其是一种数据挖掘REST服务平台。

背景技术

随着互联网及移动互联网、物联网的飞速发展，人类社会的数据种类和规模正以前所未有的速度增长。据IDC的研究报告显示：2013年中国产生的数据总量超过0.8ZB(相当于8亿TB)，2倍于2012年，相当于2009年全球的数据总量。预计2020年，中国的数据总量将是2013年的10倍，海量数据中如何提取有价值的信息将成为人们迫切要求解决的问题。数据挖掘是从大量不完全有噪声的实际数据中提取隐含在其中的具有潜在实用信息和知识的过程，它能有效发现大规模数据中有价值的信息。然而，传统的建立在关系型数据库、数据仓库上的数据挖掘技术在进行数据分析和统计计算时需要大量的存储资源和计算资源，在面对大规模异构、高维数据时很难完成高效的数据分析。

云计算是一种新兴的计算模式，它将计算任务分布在由大量计算节点组成的资源池上，使各种应用系统能够根据需要获取计算能力、存储空间和信息服务。云计算的出现，使得数据挖掘技术和平台有了新的发展方向，结合云计算的虚拟化、高扩展、高可用性构建新一代的数据挖掘平台是一种趋势。

云计算是并行计算、分布式计算的发展，是解决海量数据挖掘任务，解决海量数据挖掘的有效手段，在理论和实践上都已得到证实和广泛应用。Google提出的MapReduce框架，是业界广泛认可的海量数据处理的并行计算模型，它对分布式操作如任务调度、节点通信等细节进行了封装，提供了更高层次的编程接口。Hadoop作为MapReduce的开源实现，在大数据挖掘领域得到广泛应用。迭代式计算框架Spark是一种分布式的内存计算平台，支持MapReduce计算范式，同时提供了DAG计算引擎有效弥补了Hadoop对循环数据流计算的不足。这些云计算框架的提出使用户不需要考虑计算的具体细节，而只要考虑任务间的逻辑关系。这样不仅可以提高研发的效率，还可以降低系统维护的成本。

SaaS是Software-as-a-Service(软件即服务)的简称，是一种新的软件应用模式。它是一种通过Internet提供软件的模式，用户可以根据自己的实际需求通过互联网获取需要的服务。Rest作为Saas的一种实现，具有轻量、易懂、语义化等优点，软件系统的服务化、Rest化易于企业内部多系统间的集成与联通。将基于云的数据挖掘平台提供的算法能力采用服务的方式对外暴露，符合SaaS的设计理念，能对普通用户屏蔽云计算编程的复杂性，同时方便不同业务系统的调用。

综上所述，传统的数据挖掘服务体系架构以无法应对海量数据的处理。

发明内容

为了克服已有数据挖掘服务方式的无法应对海量数据处理、产品收益较低的不足，本发明提供一种有效适用于海量数据处理、产品收益较高的基于云计算的数据挖掘REST服务平台。

本发明解决其技术问题所采用的技术方案是：

一种基于云计算的数据挖掘REST服务平台，包括：云计算集群层，用于提供云存储及并行计算能力；算法引擎层，用于提供并行数据挖掘能力，提供各种并行算法库；数据挖掘服务引擎层，用于对外提供挖掘云服务，所有服务以Restful接口对外暴露；云挖掘服务SDK，用于提供一种本地调用挖掘云服务的方式，通过在其他业务系统中引入云挖掘服务SDK，在业务系统中使用数据挖掘、数据分析功能；

所述云计算集群层中，采用分布式计算平台作为运行支撑，使用Hadoop并以HDFS作为其分布式存储系统；