[发明专利]基于云计算机框架的电动汽车数据挖掘系统与挖掘方法

说明书

技术领域

本发明涉及一种电动汽车海量数据的挖掘系统与实现方法，具体涉及一种基于云计算机框架的电动汽车数据挖掘系统与挖掘方法。

背景技术

电动汽车具有节能减排等优势，近年来发展迅速。然而电动汽车的发展还处在“建设时期”，离广泛普及有一段距离。主要原因是电动汽车整车质量特别是其最核心零部件电动电池的质量还不成熟。电动电池循环寿命较短、成本也相对较较高，其适应性与安全性都有待考量。此外，电动汽车基础设施的建设也未能及时跟进，合理部署充电站和充电桩，提高城市有限资源的利用率，将会极大的促进电动汽车的普及和推广。

目前已有一些电动汽车远程监控系统，监控电动汽车运行的情况，并对这些实时数据进行统计和分析，以找出电动汽车发生故障的原因、运行数据的规律等。例如，福特公司开发的纯电动汽车远程监控系统，福特的工程师根据此监控反馈的信息已经完成了至少20处动力电池管理系统管理策略的改进。此外，上海汽车集团股份有限公司技术中心与同济大学、上海燃料电池汽车动力系统有限公司合作开发了上汽新能源汽车远程监控系统，此系统实现了批量车辆运行的在线监控，故障的智能化处理、车载终端软件的升级、数据的记录和存储等功能。上述的监控系统均采用集中监控方式。据统计电动汽每分钟上传到服务器的数据量平均为82.4kb，根据十城千辆政策，到2012年北京市电动汽车将达5000辆，那么5000辆电动汽车一年上传到服务器的数据总量将达到52T。如此大的数据量，集中监控的方式在数据存储和处理上都难以承受，因此基于云计算来实现类似的监控系统是十分必要的。中科院计算所与中科深江电动汽车厂合作的基于云计算的电动汽车远程监控系统，就采用了云计算开源框架Hadoop存储和处理电动汽车上传的数据，实现了千辆级电动汽车的实时监控、历史回放、故障预警与处理、数据统计分析等功能。然而现有的监控系统，不论是集中式还是基于云计算框架的，都仅仅通过人工定义的统计条件去分析电动汽车故障产生的规律和原因，为电动汽车电池和电池管理系统的改进只能提供有限的信息。一些隐藏在海量数据之中有价值的信息不能被挖掘出来，这些信息可能是意想不到的制约关系或规律，会对电池极其管理系统的改进提供非常大的帮助。

发明内容

本发明的目的之一是提供一种基于云计算机框架的电动汽车数据挖掘系统；

本发明另一个目的是提供一种基于云计算机框架的电动汽车数据挖掘方法。

实现本发明第一个目的的技术方案是提供一种基于云计算机框架的电动汽车数据挖掘系统，包括数据采集模块、与数据采集模块通过3G网络相连的挖掘系统前端模块、与挖掘系统前端模块相连的云计算机Hadoop集群模块。

进一步，所述挖掘系统前端模块包括数据导入模块、关联规则挖掘模块、频繁路段挖掘模块，所述数据导入模块与数据采集模块通过3G网络相连，关联规则挖掘模块、频繁路段挖掘模块分别与数据导入模块相连。

进一步，所述云计算机Hadoop集群模块包括数据处理模块和数据存储模块，所述数据处理模块与关联规则挖掘模块和频繁路段挖掘模块相连。

实现本发明的另一个目的技术方案是提供一种基于云计算机框架的电动汽车数据挖掘方法，包括如下步骤：

步骤1、由数据采集模块采集数据，并通过3G网络传送到挖掘系统前端，挖掘系统前端将要挖掘的数据集切分为若干独立的数据块并记录；

步骤2、并行统计每个数据块中所有支持度大于最小支持度的频繁1个数据字段，结果存储在F-list中；

步骤3、将F-list中的频繁1个数据字段分为G个组；

步骤4、云计算机Hadoop集群模块中分组并行执行FPGrowth算法，，生成并保存相关的局部闭频繁模式集；

步骤5、合并局部闭频繁模式集，生成全局的闭频繁模式集，最后根据全局闭频繁模式集生成无冗余的关联规则。

进一步，在步骤3中，对G个组的每个组进行标记为一个G-List，并对应编号gid。

进一步，在步骤4中，在执行FPGrowth算法时，加入融合、剪枝、闭合检查步骤。

本发明具有积极的效果：(1)、本系统中，将电动汽车远程监控系统和数据挖掘子系统完美的结合起来，既保证了远程监控系统的实时服务，又充分利用了云计算平台Hadoop的存储高可扩展性、计算框架mapreduce高容错性等为数据挖掘系统的实现提供了基础。且系统可处理的数据量满足电动汽车的发展需求，使用数据发掘的方式摆脱了人工的统计与分析，自动的挖掘电动汽车数据之间的关联关系。