[发明专利]基于Hadoop的物联网大数据处理方法及系统

说明书

本发明公开了一种基于Hadoop的物联网大数据处理方法，包括以下步骤：S1.根据产品生产过程产生的数据及数据的使用需求，采用源数据层进行数据的获取存储，采用数据处理层进行数据的并行加载存储，采用数据存储层实现为数据应用展现所需数据的存储；S2.通过使用HDFS存储海量源数据，通过MapReduce处理海量源数据，用HBase分布式数据库存储处理后生产数据；S3.通过三个层面的数据流转从而设计实现产品生产海量生产数据的存储系统；本发明根据产品生产过程的不同特点通过Hadoop实现了海量生产数据的存储。通过HDFS实现了数据的一次写入，多次读取；通过MapReduce实现了充分的并行性，将作业有效分布到数据上。

技术领域

本发明涉及生产数据处理领域，特别涉及一种基于Hadoop的物联网大数据处理方法。

背景技术

目前，国内的产品生产类企业需要重点提升产品的自动化、数字化、网络化和智能化水平。目前的产品生产中，往往有上百个工艺参数需要逐步进行优化，生产过程出现了“数据丰富而知识贫乏”的现象逐步获得有效解决，但随之而来的则是企业的集成信息系统尤其是生产制造系统每天获取的数据随着应用精度的提高呈几何级递增，因此在如何分发、存储、管理和共享这些海量数据已成为亟待解决的问题。

因此，需要在Hadoop框架的基础上，提出一种基于Hadoop的物联网大数据处理方法。

发明内容

有鉴于此，本发明的目的是在Hadoop框架的基础上，提出一种基于Hadoop的物联网大数据处理方法。

本发明的基于Hadoop的物联网大数据处理方法，包括以下步骤：

S1.根据产品生产过程产生的数据及数据的使用需求，采用源数据层进行数据的获取存储，采用数据处理层进行数据的并行加载存储，采用数据存储层实现为数据应用展现所需数据的存储。S2.通过使用HDFS存储海量源数据，通过MapReduce处理海量源数据，用HBase分布式数据库存储处理后生产数据；S3.通过三个层面的数据流转从而设计实现产品生产海量生产数据的存储系统。

进一步，在所述步骤S2中，HDFSClient通过调用FileSystem对象的open()来读取文件，DistributedFilesystem通过使用RPC来调用NameNode，以确定文件开头部分的块位置；

进一步，在所述步骤S2中，对于每一个块，NameNode返回具有该块副本的数据节点；DistributedFilesystem返回一个FSDataInputStream对象给Client读取数据；FSdataInputStream转而包装一个DFSInputStream对象。Client对这个输入流调用read()；存储着文件开头部分的块的数据节点地址的DFSInputStream随即与这些块最近的数据节点相连接。

进一步，通过在数据流中反复调用read()，数据会从不同的数据节点返回客户端；到达块的末端时，DFSInputStream会close()与数据节点间的联系，然后为下一个块找到最佳的数据节点；Client从流中读取datablock是按照DFSInputStream与不同的数据节点的新连接顺序读取的，一旦Client读取完成，就对FileSystem输入流调用close()，在整个过程中，Client只需要读取一个连续的流即可获得整体的需要分析的数据集，依次过程，Client对HDFS写入数据到各个DataNode。

本发明的一种基于Hadoop的物联网大数据处理系统，包括海量产品生产数据的存储整体架构，所述构架包括：源数据层，其功能是数据的获取存储，数据处理层，其用于实现数据的并行加载存储，数据存储层，其用于实现为数据应用展现所需数据的存储。