[发明专利]基于Hadoop的饮用水海量数据存储管理方法和系统

说明书

本发明公开了基于Hadoop的饮用水海量数据存储管理方法，包括以下步骤：将实时属性数据存入区域服务器，将区域服务器中的实时属性数据迁移Kafka集群中，并进行数据清洗，将清洗后的实时属性数据存入Hadoop集群中；将Hadoop集群中的实时属性数据根据属性进行第二次分类，将分类后的实时属性数据合并成大文件并生成索引文件；将合并后的大文件和索引文件存入Hadoop集群中。本发明对小文件的实时属性数据根据产生地域、时间后先做一次分类，然后再根据数据的元素类型再做一次分类，最后进行合并存储，这样大大减少了内存的消耗，提高了平台的性能。

技术领域

本发明涉及计算机应用领域，特别涉及基于Hadoop的饮用水海量数据存储管理方法和系统。

背景技术

随着社会的进步，在当今科技水平高速发展，特别是物联网、电子技术兴起的环境下，人们对农村饮用水水质的监测已经可达到在线的、实时性的监测，监测数据的产生也是毫秒级的。

农村饮用水在线监控系统后台使用的存储工具主要以关系型数据为主，这类数据库在处理大量数据时，其数据吞吐性能并不十分优越，并且由于其扩展性能差，在管理分散数据时显得尤为无力。Hadoop分布式平台则能很好解决关系型数据库在数据吞吐性能和扩展性能等方面的不足，但是Hadoop平台的操作具有高延迟性，并不能适应实时数据可视化的场景。此外，传统的Hadoop平台在数据副本管理上采用三个副本静态管理策略，并不适应饮用水数据这种小文件数据多、对数据访问存在明显地域性或者时间性等特点。

综上，行业内急需一种既能解决传统饮用水数据存储平台使用的关系型数据库在遇到海量数据时吞吐性和扩展性不足，又能解决传统Hadoop分布式平台不能满足饮用水实时数据可视化的问题的饮用水海量数据存储管理方法。

发明内容

本发明针对目前饮用水数据平台遇到海量数据时吞吐性和扩展性不足，以及数据存储和管理策略等方面的问题，具体来说解决以下几个问题：

1)目前饮用水数据平台所使用的关系型数据库在处理海量数据时吞吐量和扩张性能差，而分布式平台又无法满足实时数据可视化的需求这两者之间的矛盾。

2)由于饮用水数据存在大量的小文件，在存储时对Hadoop名称节点内存消耗过高，这会使得Hadoop集群的性能非常差。

3)客户端在访问饮用水数据时具有比较强的倾向性，例如客户端会在夏季时期频繁访问往年夏季的数据等，但是无论是频繁访问或者是访问量小的文件，文件副本的数据是静态不变的，这就使得访问数据访问热度高的文件时，访问的性能非常差。

本发明所采用的技术方案为：

基于Hadoop的饮用水海量数据存储管理方法，包括以下步骤：对饮用水海量数据进行第一次分类，得到实时属性数据和非结构化数据；其中，所述实时属性数据为小文件，所述小文件的大小不超过预先设置的块大小；将实时属性数据存入区域服务器，将非结构化数据存入Hadoop集群；将区域服务器中的实时属性数据迁移Kafka集群中，并进行数据清洗，将清洗后的实时属性数据存入Hadoop集群中；将Hadoop集群中的实时属性数据根据属性进行第二次分类，将分类后的实时属性数据合并成大文件并生成索引文件；所述大文件的大小超过预先设置的块大小；将合并后的大文件和索引文件存入Hadoop集群中。

优选地，所述将Hadoop集群中的实时属性数据根据属性进行第二次分类包括：将Hadoop集群中的实时属性数据按照产生时间和产生地域进行分类；将Hadoop集群中的实时属性数据按照检测元素类型进行分类。

优选地，所述将Hadoop集群中的实时属性数据按照检测元素类型进行分类包括：将所述实时属性数据中的重金属数据归位一类；将所述实时属性数据中的PH数据归位一类。