[发明专利]一种针对数据仓库缓慢变化的维度数据处理方法

权利要求书

1.一种针对数据仓库缓慢变化的维度数据处理方法，其特征在于：针对数据仓库中预设数据模型的目标表，实现数据仓库中新增数据记录的插入；其中，预设数据模型包括主键、维度主键、记录识别码、记录创建时间、记录失效时间、最新记录标记、以及至少一个维度属性；主键表示目标表中的代理主键，是目标表中各记录的唯一标识；维度主键是目标表中各记录在其源表中的唯一标识；最新记录标记用于记录当前行维度信息是否是最新内容，1为最新记录、0为历史记录；所述新增数据记录的插入，按如下步骤A至步骤B进行执行：

步骤A. 针对新增数据记录，先将新增数据记录转换为其所对应的Json数据，再应用预设加密算法、针对该Json数据进行加密，所获加密结果作为新增数据记录所对应的记录识别码，然后进入步骤B；

步骤B. 根据新增数据记录的维度主键、以及新增数据记录所对应的记录识别码，在目标表中最新记录标记为1的各条记录中、查找新增数据记录，并根据不同查找结果，分别做出相应处理，实现新增数据记录向目标表的插入。

2.根据权利要求1所述一种针对数据仓库缓慢变化的维度数据处理方法，其特征在于，在一个实施方式中，所述步骤B包括如下步骤：

步骤B1. 在目标表中最新记录标记为1的各条记录中，查找是否存在维度主键与新增数据记录维度主键相同的记录，是则获得目标表中的该记录，作为待处理记录，并进入步骤B3；否则进入步骤B2；

步骤B2. 按目标表的数据模型，将新增数据记录插入到目标表中，且该插入记录的主键基于目标表原各记录主键的最大值加1，以及该插入记录的记录创建时间为新增数据记录插入处理时的当前时间戳；

步骤B3. 判断待处理记录中的记录识别码与新增数据记录所对应的记录识别码是否相等，是则表示新增数据记录已存在于目标表中，无需对目标表做任何处理；否则进入步骤B4；

步骤B4. 首先将待处理记录中的记录失效时间置为当前操作时间戳，以及将待处理记录中的最新记录标记置为0；然后按目标表的数据模型，将新增数据记录插入到目标表中，且该插入记录的主键基于目标表原各记录主键的最大值加1，该插入记录的记录创建时间为新增数据记录插入处理时的当前时间戳，该插入记录的记录失效时间置为预设未来时间，以及该插入记录的最新记录标记置为1。

3.根据权利要求1所述一种针对数据仓库缓慢变化的维度数据处理方法，其特征在于：在一个实施方式中，所述新增数据记录来源于目标数据源，所述数据仓库通过预设数据源连接方式对接目标数据源，数据仓库由目标数据源中获得新增数据记录后、存放于数据仓库缓存区中，然后按步骤A至步骤B实现新增数据记录向数据仓库中目标表的插入。

4.根据权利要求3所述一种针对数据仓库缓慢变化的维度数据处理方法，其特征在于：在一个实施方式中，所述预设数据源连接方式为JDBC数据源连接方式。

5.根据权利要求1所述一种针对数据仓库缓慢变化的维度数据处理方法，其特征在于：在一个实施方式中，所述预设加密算法为MD5加密算法。

6.一种服务器设备，包括存储器、处理器，以及存储在存储器上、并可在处理器上运行的计算机程序，其特征在于：所述处理器执行所述计算机程序、实现权利要求1至4中任一项所述方法的步骤。

7.一种服务器可读存储介质，其上存储有计算机程序，其特征在于：所述计算机程序被处理器执行时、实现权利要求1至4中任一项所述方法的步骤。