[发明专利]一种针对数据仓库缓慢变化的维度数据处理方法

说明书

本发明涉及一种针对数据仓库缓慢变化的维度数据处理方法，通过改进数据变化识别方法、优化数据存储结构，将变化数据处理过程标准化，简化数据的处理过程，提高数据仓库的建设效率，能够有效克服现有技术的缺点，且效率高，准确率高。

技术领域

本发明涉及一种针对数据仓库缓慢变化的维度数据处理方法，属于数据仓库技术领域。

背景技术

在构建数据仓库的过程中，维度数据会根据数据变化情况来记录历史，传统的数据处理方式是针对源数据与数据仓库的数据之间使用关键字段去匹配,然后通过每个字段对比、去识别实际的变化情况，这种处理方式会导致ETL任务的开发效率很低、容易出错，且数据模型变化后ETL调整工作量大。

发明内容

本发明所要解决的技术问题是提供一种针对数据仓库缓慢变化的维度数据处理方法，能够有效克服现有技术的缺点，且效率高，准确率高。

本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种针对数据仓库缓慢变化的维度数据处理方法，针对数据仓库中预设数据模型的目标表，实现数据仓库中新增数据记录的插入；其中，预设数据模型包括主键、维度主键、记录识别码、记录创建时间、记录失效时间、最新记录标记、以及至少一个维度属性；主键表示目标表中的代理主键，是目标表中各记录的唯一标识；维度主键是目标表中各记录在其源表中的唯一标识；最新记录标记用于记录当前行维度信息是否是最新内容，1为最新记录、0为历史记录；所述新增数据记录的插入，按如下步骤A至步骤B进行执行：

步骤A. 针对新增数据记录，先将新增数据记录转换为其所对应的Json数据，再应用预设加密算法、针对该Json数据进行加密，所获加密结果作为新增数据记录所对应的记录识别码，然后进入步骤B；

步骤B. 根据新增数据记录的维度主键、以及新增数据记录所对应的记录识别码，在目标表中最新记录标记为1的各条记录中、查找新增数据记录，并根据不同查找结果，分别做出相应处理，实现新增数据记录向目标表的插入。

作为本发明的一种优选技术方案，所述步骤B包括如下步骤：

步骤B1. 在目标表中最新记录标记为1的各条记录中，查找是否存在维度主键与新增数据记录维度主键相同的记录，是则获得目标表中的该记录，作为待处理记录，并进入步骤B3；否则进入步骤B2；

步骤B2. 按目标表的数据模型，将新增数据记录插入到目标表中，且该插入记录的主键基于目标表原各记录主键的最大值加1，以及该插入记录的记录创建时间为新增数据记录插入处理时的当前时间戳；

步骤B3. 判断待处理记录中的记录识别码与新增数据记录所对应的记录识别码是否相等，是则表示新增数据记录已存在于目标表中，无需对目标表做任何处理；否则进入步骤B4；

步骤B4. 首先将待处理记录中的记录失效时间置为当前操作时间戳，以及将待处理记录中的最新记录标记置为0；然后按目标表的数据模型，将新增数据记录插入到目标表中，且该插入记录的主键基于目标表原各记录主键的最大值加1，该插入记录的记录创建时间为新增数据记录插入处理时的当前时间戳，该插入记录的记录失效时间置为预设未来时间，以及该插入记录的最新记录标记置为1。

作为本发明的一种优选技术方案：所述新增数据记录来源于目标数据源，所述数据仓库通过预设数据源连接方式对接目标数据源，数据仓库由目标数据源中获得新增数据记录后、存放于数据仓库缓存区中，然后按步骤A至步骤B实现新增数据记录向数据仓库中目标表的插入。

作为本发明的一种优选技术方案：所述预设数据源连接方式为JDBC数据源连接方式。

作为本发明的一种优选技术方案：所述预设加密算法为MD5加密算法。

本发明所要解决的技术问题是提供一种服务器设备，用于实现上述设计针对数据仓库缓慢变化的维度数据处理方法，获得高效准确的处理方法。