[发明专利]一种海量数据的采集处理系统

说明书

本发明公开了一种海量数据的采集处理系统，其包括数据采集模块、数据处理模块和数据存储模块，所述数据采集模块用于对用户侧设备的数据以消息队列的方式进行采集，所述数据处理模块用于对所述数据采集模块采集的数据进行一致性处理，所述数据存储模块用于对所述数据采集模块采集的数据和所述数据处理模块的处理结果以时间序列的方式进行存储，从而通过分布式架构实现了用户侧设备数据的实时采集，确保了用户侧设备数据采集的实时性和准确性，避免了信息采集过程中人为因素的影响，提高了经济效益，保证用于可靠放心地用电。

技术领域

本发明涉及数据管理技术领域，尤其涉及一种海量数据的采集处理系统。

背景技术

在能源危机和气候变暖的双重挑战下，电动汽车成为发展低碳经济、落实节能减排政策的重要途径。电动汽车作为一种新型交通工具，是缓解我国石油资源紧张、城市大气污染严重问题的重要手段，是推进交通发展模式转变的有效载体。电动汽车充电设施为电动汽车运行提供能量补给，是电动汽车的重要基础支撑系统，也是电动汽车商业化、产业化过程中的重要环节。电动汽车充换电设施建设，符合国家创建环境友好型、资源节约型的和谐社会需求，并且能有效地为促进新能源电动汽车的快速发展提供最根本的基础设施的保障。

近几年来，世界主要的汽车强国纷纷表示将其提升至国家战略，发展新能源汽车，是全世界汽车业的共同目标，随着新能源汽车技术水平的提高，整车性能增强，电池、电机配套服务更加完善。新能源汽车的市场和潜力巨大，其绿色环保的特性完美的向各国的发展规划靠拢，电动汽车大规模化，加速了新能源的发展利用，这也导致电动汽车充电需求的增加与用户数据安全的危险，因此，对电动汽车的充电数据进行实时采集、处理及保存是很有必要的。

发明内容

为了克服现有技术的不足，本发明所解决的技术问题是提供一种海量数据的采集处理系统，其大大提高了电动汽车用电信息采集的实时性和准确度，避免了电动汽车用电信息采集过程中人为因素的影响，并避免了供电端与用户端的纠纷，提高了经济效益，保证用户端可靠放心地用电。

为解决上述技术问题，本发明所采用的技术方案内容具体如下：

一种海量数据的采集处理系统，包括数据采集模块、数据处理模块和数据存储模块，所述数据采集模块用于对用户侧设备的数据以消息队列的方式进行采集，所述数据处理模块用于对所述数据采集模块采集的数据进行一致性处理，所述数据存储模块用于对所述数据采集模块采集的数据和所述数据处理模块的处理结果以时间序列的方式进行存储。

作为上述方案的优选，还包括与所述数据存储模块信号连接的数据查询模块，并且所述数据查询模块通过分布式的多个进程独立与所述数据存储模块交互，实现可伸缩的查询服务。

作为上述方案的优选，所述数据处理模块对所述数据采集模块采集的数据进行一致性处理为所述数据处理模块对所述数据采集模块采集的数据进行序列化处理。

作为上述方案的优选，还包括安全模块，所述安全模块用于对所述数据采集模块采集的数据进行安全处理。

作为上述方案的优选，所述安全模块为加密机，所述加密机用于对所述数据采集模块采集的数据进行加密和解密处理。。

与现有技术相比，本发明的有益效果在于：

本发明公开了一种海量数据的采集处理系统，其包括数据采集模块、数据处理模块和数据存储模块，所述数据采集模块用于对用户侧设备的数据以消息队列的方式进行采集，所述数据处理模块用于对所述数据采集模块采集的数据进行一致性处理，所述数据存储模块用于对所述数据采集模块采集的数据和所述数据处理模块的处理结果以时间序列的方式进行存储，从而通过分布式架构实现了用户侧设备数据的实时采集，确保了用户侧设备数据采集的实时性和准确性，避免了信息采集过程中人为因素的影响，提高了经济效益，保证用于可靠放心地用电。