[发明专利]一种基于多类型设备的大数据处理方法、系统及可读介质

权利要求书

1.一种基于多类型设备的大数据处理方法，其特征在于，包括以下步骤：

构建大数据平台，所述大数据平台包括ETL层、服务层和存储层，所述ELT层包括数据采集模块和数据支撑模块，所述服务层包括Stream模块、批处理模块和GPU资源模块，所述存储层包括分布式存储模块，所述数据采集模块用于采集原始数据；

将所述原始数据通过数据清洗管道流入大数据集群或所述存储层，其中，通过所述Stream模块对所述原始数据中的实时数据进行消费和实时计算，通过所述批处理模块对所述原始数据中的离线数据进行数据清洗；

将采集到的原始数据、计算产生的中间数据及结果数据存储在所述分布式存储模块，并结合所述数据支撑模块实现数据的分类和发布。

2.根据权利要求1所述的基于多类型设备的大数据处理方法，其特征在于，所述数据采集模块的构建具体包括：采用ApacheNifi作为所述数据采集模块的主要框架，在两台以上的服务器上进行搭建，并构建工具流和数据流；所述数据采集模块通过外部实时数据的对接、外部数据下载和/或数据库对接的方式获取结构化数据和非结构化数据，所述结构化数据包括所述实时数据和所述离线数据，所述非结构化数据存储在所述GPU资源模块，为模型训练提供物料，所述数据采集模块采集的原始数据类型包括FTP数据、协议接口数据、日志数据和/或消息队列数据。

3.根据权利要求2所述的基于多类型设备的大数据处理方法，其特征在于，使用CDH搭建大数据集群，其中通过Hue可视化和Oozie调度器的组合完成所述工作流的构建，所述工作流用来驱动所述Stream模块和所述批处理模块中的组件对所述原始数据进行清洗和持久化，并通过ETL工具完成所述数据支撑模块的构建。

4.根据权利要求2所述的基于多类型设备的大数据处理方法，其特征在于，所述分布式存储模块的构建具体包括：

采用Hive与Parquet结合的方式存储所述结构化数据；

采用Elasticsearch存储所述非结构数据；

采用Hbase存储拥有唯一标识的多维度设备数据；

搭建Kafka作为实时数据存储框架；

搭建Hive和Yarn作为离线数据存储框架。

5.根据权利要求1所述的基于多类型设备的大数据处理方法，其特征在于，所述Stream模块的构建具体包括：部署并开发Flink应用作为实时数据管道，其功能包括协议解析、规则引擎、模式匹配和聚合统计，并配合Kafka完成所述Stream模块的构建。

6.根据权利要求1所述的基于多类型设备的大数据处理方法，其特征在于，所述批处理模块的构建具体包括：采用Spark、MapReduce和本地程序相结合的混合模式，采用Spark作为离线数据管道并承担定制化的ETL任务和报表任务，Hive承担通用的数据治理任务。

7.根据权利要求1所述的基于多类型设备的大数据处理方法，其特征在于，所述GPU资源模块的构建具体包括：使用三台以上的GPU机器，并搭建Pytorch环境，进行相应模型的构建。

8.一种基于多类型设备的大数据处理系统，其特征在于，包括：

平台构建装置，被配置为构建大数据平台，所述大数据平台包括ETL层、服务层和存储层，所述ELT层包括数据采集模块和数据支撑模块，所述服务层包括Stream模块、批处理模块和GPU资源模块，所述存储层包括分布式存储模块，所述数据采集模块用于采集原始数据；

数据计算装置，被配置为将所述原始数据通过数据清洗管道流入大数据集群或所述存储层，其中，通过所述Stream模块对所述原始数据中的实时数据进行消费和实时计算，通过所述批处理模块对所述原始数据中的离线数据进行数据清洗；

数据存储发布装置，被配置为将采集到的原始数据、计算产生的中间数据及结果数据存储在所述分布式存储模块，并结合所述数据支撑模块实现数据的分类和发布。