[发明专利]一种基于数据挖掘的电梯事故预警预报系统

说明书

技术领域

本发明属于数据处理技术领域，具体涉及一种基于数据挖掘的电梯事故预警预报系统。

背景技术

目前，虽然国内对于大数据在电梯安全方面的研究越来越多，电梯智慧化的管理模式也为大数据在电梯安全方面的应用提供了更大的可能，近几年来我国多个城市更是逐步实现了大数据平台对电梯安全的管控，加强了电梯的维护水平，提升了电梯的救援效率，但是电梯事故的预警预报依然没有完全实现。

发明内容

本发明的目的在于提供一种基于数据挖掘的电梯事故预警预报系统，采用Hadoop平台对电梯数据进行数据挖掘分析，挖掘效率高、结果可靠，能够实现电梯事故的预警预报。

本发明所采用的技术方案是：一种基于数据挖掘的电梯事故预警预报系统，包括运行于Hadoop平台上的数据导入模块、数据挖掘模块以及数据导出模块，

数据导入模块通过Sqoop将电梯远程监管系统数据库SQLServer中的原始数据导入后到HDFS和Hive中作为数据挖掘的数据源进行保存；

然后利用利用数据挖掘模块保存的数据源进行数据挖掘处理；

数据导出模块通过Sqoop将数据挖掘模块挖掘处理后的结果导出到电梯远程监管系统数据库SQLServer中，用于后续分析。

本发明的特点还在于，

还包括数据预处理模块，数据预处理模块在数据挖掘前，先对HDFS和Hive中保存的数据源进行清洗，然后再重新保存到HDFS和Hive中作为数据挖掘的数据源进行保存。

根据数据源的特点和数据挖掘的目标，数据预处理模块对数据源利用HQL和MapReduce进行清洗，具体利用HQL完成缺失值删除和缺失值补充工作，利用MapReduce完成数据去重工作。

还包括数据调度模块，实现对数据导入模块、数据预处理模块、数据挖掘模块以及数据导出模块进行调度和整合。

数据导入模块根据需求分为增量导入和全量导入。

数据挖掘模块利用改进的K-Means算法和Apriori算法对数据进行挖掘处理。

改进的K-Means算法具体为：通过Canopy算法删除数据集中的离群点，获得k个初始聚类中心，即获得k值，得到新的数据源；将新的数据源利用K-Means算法中的方法选取多组初始聚类中心；通过准则函数确定最优的初始聚类中心；将新的数据源、k值及最优的初始聚类中心应用于K-Means算法，得到最终的聚类结果。

本发明的有益效果是：本发明的一种基于数据挖掘的电梯事故预警预报系统用于对电梯数据进行聚类分析及关联规则挖掘，不但保证了数据挖掘的充分性，而且提高了数据挖掘的效率，成本低、效率高、可扩展性好，为电梯事故的预警预报提供了有力的数据支持，适用于电梯监控及电梯救援。具体而言，具有以下优点：

1、设计构思新颖，整个系统基于Hadoop平台来实现，且改进了数据挖掘的算法，使得挖掘效果更好、效率更高；

2、充分利用了Hadoop平台本身具有的高可靠性、高扩展性、高效性、成本低的特点；

3、采用了两种改进的数据挖掘算法，保证了数据挖掘的充分性；

4、该方法中用到的各个模块相互独立、互不影响，除了调度模块任何一个模块均可作为执行模块，具有较高的可扩展性。

附图说明

图1是本发明的一种基于数据挖掘的电梯事故预警预报系统采用的改进的K-Means算法流程图；

图2是是本发明的一种基于数据挖掘的电梯事故预警预报系统采用的Apriori算法流程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明。

本发明提供的一种基于数据挖掘的电梯事故预警预报系统，包括以下几个部分：

第一部分，数据导入模块：将电梯远程监管系统数据库SQLServer中的数据导入到Hadoop平台的HDFS或者Hive中，建成数据仓库，用于后续的数据挖掘。

本实施例中，有些表需要一次性将数据库中的所有历史数据都导入至HDFS中，即全量导入；有些表则需要该模块定期执行将前一天的数据定期导入HDFS中，即增量导入。这样数据仓库的数据才能与数据库同步，这也体现了数据仓库时变的特点。

第二部分，数据预处理模块：该模块的主要作用是对导入到Hadoop上的数据进行清洗，针对不同的清洗目标，采用的清洗方法也不同，主要利用HQL与MapReduce来完成，既保证了数据的全面清洗又确保了清洗时间不会过长。