[发明专利]一种基于HADOOP平台的事实并行处理方法

摘要

本发明提供了一种基于Hadoop平台下的事实并行处理方法。由于事实数据量非常大，而且事实的处理主要是查找维度键，因此，为了加快事实的处理，本方法将从事实表查找维度键的方向着手，采用多路并行查找的方法提高事实的处理效率，同时针对不同类型的维度表，分别考虑了不同的查找方法。本发明针对不同数据量的情况，提供了相应的并行处理方法，使其能实现多路并行处理；同时也根据两种不同类型的渐变维度表，分别考虑了不同的查找方法，从而实现了Hadoop平台下的事实并行处理，提高了事实处理的效率。

主权项

一种基于HADOOP平台的事实并行处理方法，其特征在于，包括以下步骤：步骤1、将渐变维度数据集CacheDims存入本地缓存；步骤2、初始化维度数据集Dims＝Φ，同时从本地缓存中获取渐变维度数据集CacheDims，转步骤3；步骤3、如果渐变维度数据集CacheDims是类型2的渐变维度，则转步骤4，否则转步骤5；步骤4、如果渐变维度数据集CacheDims未遍历结束，则从中读取一行记录，记为Dim，从Dim获取自然键NK、代理键SK、维度开始生效时间ST和维度开始失效时间ET，并存入维度数据集Dims中，继续步骤4，否则转步骤6；步骤5、如果渐变维度数据集CacheDims未遍历结束，则从中读取一行记录，记为Dim，从Dim获取自然键NK和代理键SK，并存入维度数据集Dims中，继续步骤5，否则转步骤6；步骤6、输出维度数据集Dims；步骤7、如果维度数据集Dims中的值value不为空，则转步骤8，否则结束；步骤8、如果维度数据集Dims为类型2的渐变维度，则转步骤9，否则转步骤10；步骤9、遍历维度数据集Dims，将值value中相应的字段和自然键NK、维度开始生效时间ST和维度开始失效时间ET进行匹配，查找出正确的代理键SK，将代理键SK作为key’，值value中的度量值作为value’，转步骤11；步骤10、遍历维度数据集Dims，将值value中相应的字段和自然键NK进行匹配，查找出正确的代理键SK，将代理键SK作为key’，值value中的度量值作为value’，转步骤11；步骤11、输出<key’，value’>。