[发明专利]基于Hadoop的饮用水海量数据存储管理方法和系统

权利要求书

1.基于Hadoop的饮用水海量数据存储管理方法，其特征在于，包括以下步骤：

对饮用水海量数据进行第一次分类，得到实时属性数据和非结构化数据；其中，所述实时属性数据为小文件，所述小文件的大小不超过预先设置的块大小；

将实时属性数据存入区域服务器，将非结构化数据存入Hadoop集群；

将区域服务器中的实时属性数据迁移Kafka集群中，并进行数据清洗，将清洗后的实时属性数据存入Hadoop集群中；

将Hadoop集群中的实时属性数据根据属性进行第二次分类，将分类后的实时属性数据合并成大文件并生成索引文件；所述大文件的大小超过预先设置的块大小；

将合并后的大文件和索引文件存入Hadoop集群中；

还包括：

基于饮用水海量数据访问的热度调整数据副本数量；

基于饮用水海量数据访问的热度调整数据副本数量包括：

计算Hadoop集群中文件的访问频率；

根据所述访问频率计算出所述文件的访问热度；

根据所述访问热度统计出文件存储副本的数量；

所述计算Hadoop集群中文件的访问频率包括：

当接收到客户端访问Hadoop中的文件时，动态副本管理模块记录文件的访问次数加一；

根据原先设定的统计周期，算出所述统计周期内所述文件的访问频率；

根据所述访问频率计算出所述文件的访问热度包括：

根据连续多个统计周期的文件访问频率计算出该文件的访问热度；

具体为：预先在文件统计周期计时器上设定文件统计周期T，结合文件访问次数记录模块记录的文件访问次数，每个文件统计周期T计算一次文件的访问频率；其中文件访问次数记录起始值是0，文件每访问一次加一，一个周期进行一次清空；用f表示文件访问的频率，计算公式如下：

其中k表示文件第k个周期，n表示k周期内文件访问的次数，T表示一个周期；f_k表示文件第k个周期的访问频率；

根据所述访问频率计算出所述文件的访问热度的计算公式如下：

F_i＝[α₁ α₂ α₃...α_M][f₁ f₂ f₃...f_M]^T

其中F_i表示文件热度，α_i表示第i个周期的文件访问频率的影响系数，α的所有取值相加为1，f_i表示第i个周期的文件访问频率，M所要得出的当前周期的前M个周期；

假设用Q_ij表示i文件在j周期内文本的需求值，根据所述访问热度计算出文件存储副本的数量的计算公式如下：

Q_ij＝γ.F'_j

其中F'_j＝tan^-1F_j*2/π，F_j表示i文件在j周期内的文件访问频率，F'_j表示对F_j使用反正切归一化处理后所得的结果，从而达到文件访问热度越大，需求量越大的需要，γ表示i文件访问热度对副本数量的影响。

2.根据权利要求1所述的基于Hadoop的饮用水海量数据存储管理方法，其特征在于，所述将Hadoop集群中的实时属性数据根据属性进行第二次分类包括：

将Hadoop集群中的实时属性数据按照产生时间和产生地域进行分类；

将Hadoop集群中的实时属性数据按照检测元素类型进行分类。

3.根据权利要求2所述的基于Hadoop的饮用水海量数据存储管理方法，其特征在于，所述将Hadoop集群中的实时属性数据按照检测元素类型进行分类包括：

将所述实时属性数据中的重金属数据归位一类；

将所述实时属性数据中的PH数据归位一类。