[发明专利]基于关联规则的海量物联网数据挖掘系统

说明书

本发明公开了一种基于关联规则的海量物联网数据挖掘系统，该系统包括：数据存储层模块、数据挖掘算法层模块以及挖掘任务处理层模块；其中，所述数据存储层模块负责在部分计算存储节点中存储被Map/Reduce化的数据挖掘算法，有利于实现所述数据挖掘算法层模块的高效性；所述数据挖掘算法层模块负责集成数据挖掘中的被Map/Reduce化的常用算法；所述挖掘任务处理层模块相当于任务调度层，是系统的核心层次。本发明方案在数据挖掘技术与云计算技术的支持下采用物联网海量数据挖掘的算法，实现了海量物联网海量数据挖掘系统的设计。

技术领域

本发明属于大数据挖掘技术领域，涉及一种基于关联规则的海量物联网数据挖掘系统。

背景技术

物联网在互联网基础上技术与功能获得了不断的升级，实现了用户对信息的传感、收集与感知。但利用物联网进行信息交换与通信的过程中会产生海量的数据(如RFID数据流、传感器网络数据等)，这些数据不断的增多加大了用户从中获取有用信息的难度。

RFID信息数据是研究物联网海量数据挖掘问题的主要对象，结合数据挖掘技术可从该研究对象中挖掘出潜在、有价值的信息。RFID传感器可采集到EPC(标签的标识码)、Location(阅读器读取标签的地点)、Time(阅读器读取标签的时间)的3个原始数据，这些数据的特征主要体现在海量性、分布式、时间与空间性、异构性、动态性、节点资源有限性，因而要想精确挖掘出物联网海量数据难度极大。

在实际领域中，RFID数据流分析、频繁与序列模式分析、分类与聚类的路径分析等是RFID信息数据挖掘的主要内容，这些数据的挖掘对物联网商业决策具有重要意义。

发明内容

本发明目的在于提供一种基于关联规则的海量物联网数据挖掘系统，针对物联网在信息交换与通信过程中不断产生的海量数据会加大用户从中获取有用信息的难度的问题，结合物联网数据结构的特点，在数据挖掘技术与云计算技术的支持下采用物联网海量数据挖掘的算法，实现了海量物联网数据挖掘系统的设计，有效地解决了物联网海量数据挖掘问题。

为解决上述技术问题，本发明采用如下的技术方案：一种基于关联规则的海量物联网数据挖掘系统，该系统包括：数据存储层模块、数据挖掘算法层模块以及挖掘任务处理层模块；其中，所述数据存储层模块负责在部分计算存储节点中存储被Map/Reduce化的数据挖掘算法，有利于实现所述数据挖掘算法层模块的高效性；所述数据挖掘算法层模块负责集成数据挖掘中的被Map/Reduce化的常用算法；所述挖掘任务处理层模块相当于任务调度层，是系统的核心层次。

进一步地，所述数据存储层模块采用分布式数据存储方式，满足计算与存储的整合、迁移，这也是基于云计算、关联规则Apriori的物联网海量数据挖掘系统的一大特征。

进一步地，所述数据挖掘算法层模块借助了云计算平台，利用Master主控节点来进行控制与管理，根据客户需求向相关节点传送算法来计算。

进一步地，所述挖掘任务处理层模块利用Master可调度系统中所有的挖掘器，使系统每一节点的计算和存储的文件传输效率大大提高。

本发明与现有技术相比具有以下的有益效果：

本发明方案针对物联网在信息交换与通信过程中不断产生的海量数据会加大用户从中获取有用信息的难度的问题，结合物联网数据结构的特点，在数据挖掘技术与云计算技术的支持下采用物联网海量数据挖掘的算法，实现了海量物联网数据挖掘系统的设计，有效地解决了物联网海量数据挖掘问题。

附图说明

图1是基于关联规则的海量物联网数据挖掘系统的整体架构图。

图2是基于关联规则的海量物联网数据挖掘系统的挖掘算法实现流程图。

具体实施方式