[发明专利]基于Hadoop架构的大数据挖掘系统

说明书

本发明公开了一种基于Hadoop架构的大数据挖掘系统，该系统包括：数据处理模块、数据挖掘模块以及可视化模块；其中，所述数据处理模块负责数据的提取及预处理功能，并为所述数据挖掘模块提供数据支持；所述数据处理模块是对各类数据挖掘算法的集成，负责对所提交数据进行各类数据分析；所述可视化模块负责展示所述数据处理模块提交的数据挖掘结果，便于用户对数据挖掘结果的理解和查看。

技术领域

本发明属于大数据挖掘技术领域，涉及一种基于Hadoop架构的大数据挖掘系统。

背景技术

目前，互联网每天的使用人数达到数十亿，用户的互联网操作行为直接导致了大量信息数据的产生。但大数据时代的到来，给人们带来丰富信息量的同时，也给人们获取有效数据带来不便。

有统计数据显示，全球的数据总量预计在2020年能达到40ZB。飞速增长的数据量带领人们直接迈入了“信息过载”的时代环境中，人们希望通过这些数据的保存和分析，对其背后隐含的价值和模式进行深入的研究和提取。但怎样从海量的数据里迅速、准确的获取所需信息是目前亟待解决的难题。

新的问题和需求必将带来新的挑战，具体体现为大数据的处理、存储以及具体的数据挖掘方法。

发明内容

本发明目的在于提供一种基于Hadoop架构的大数据挖掘系统，在数据量激增的时代，通过系统的海量数据存储和挖掘能力，方便用户的使用，用户只需对系统接口进行访问即可获取具体的服务，也即是说用户在应用过程中只需重点关注本身的业务逻辑即可，实现了用户更快速、准确、直观的获取所需信息，有效地缓解了当前海量数据对用户有效信息收索工作的冲击，节约了数据挖掘方面的成本。

为解决上述技术问题，本发明采用如下的技术方案：一种基于Hadoop架构的大数据挖掘系统，该系统包括：数据处理模块、数据挖掘模块以及可视化模块；其中，所述数据处理模块负责数据的提取及预处理功能，并为所述数据挖掘模块提供数据支持；所述数据处理模块是对各类数据挖掘算法的集成，负责对所提交数据进行各类数据分析；所述可视化模块负责展示所述数据处理模块提交的数据挖掘结果，便于用户对数据挖掘结果的理解和查看。

本发明与现有技术相比具有以下的有益效果：

本发明方案在数据量激增的时代，通过系统的海量数据存储和挖掘能力，方便用户的使用，用户只需对系统接口进行访问即可获取具体的服务，也即是说用户在应用过程中只需重点关注本身的业务逻辑即可，实现了用户更快速、准确、直观的获取所需信息。

附图说明

图1是基于Hadoop架构的大数据挖掘系统功能模块图。

图2是基于Hadoop架构的大数据挖掘系统功能模块关系图。

图3是具体的分类应用程序的流程示意图。

具体实施方式

下面结合附图及具体实施例对本发明进行更加详细与完整的说明。可以理解的是，此处所描述的具体实施例仅用于解释本发明，而非对本发明的限定。

参照图1，本发明的一种基于Hadoop架构的大数据挖掘系统，该系统包括：数据处理模块、数据挖掘模块以及可视化模块；其中，所述数据处理模块负责数据的提取及预处理功能，并为所述数据挖掘模块提供数据支持；所述数据处理模块是对各类数据挖掘算法的集成，负责对所提交数据进行各类数据分析；所述可视化模块负责展示所述数据处理模块提交的数据挖掘结果，便于用户对数据挖掘结果的理解和查看。

在通用数据挖掘系统中，目前多设计为数据挖掘、处理和可视化三个功能模块。其具体的功能模块示意图如图1所示，而其之间的关系如图2所示，三个模块之间通过相互联系、相互制约，形成了一个有机整体。

1、系统的主要模块设计