[发明专利]一种增量的时序数据冲突检测方法、装置和存储介质

权利要求书

1.一种增量的时序数据冲突检测方法，其特征在于，包括：

当spark平台获取到输入的增量数据集后，对所述增量数据集进行预处理，得到目标数据集；

对所述目标数据集中的主键属性建立倒排索引，并合并到历史数据倒排索引中；

遍历所述目标数据集的各个记录，并确定合并后的倒排索引中与所述各个元组中对应主键属性不满足比较规则的记录；

利用预先建立的detect算子，对所述目标数据集的各个记录与对应的不满足所述比较规则的记录进行冲突检测，得到冲突信息。

2.根据权利要求1所述的增量的时序数据冲突检测方法，其特征在于，对所述增量数据集进行预处理，得到目标数据集，包括：

对所述增量数据集进行切片，生成RDD数据，并将所述RDD数据转换为DataFrame格式数据；

利用SQL语句，对所述DataFrame格式数据进行提取，得到目标数据集。

3.根据权利要求2所述的增量的时序数据冲突检测方法，其特征在于，遍历所述目标数据集的各个记录，并确定合并后的倒排索引中与所述各个元组中对应主键属性不满足比较规则的记录，包括：

当所述比较规则为等式比较规则时，遍历所述目标数据集中的各个记录；确定所述各个记录中主键属性的属性值等于合并后的倒排索引中对应的属性值的记录；

当所述比较规则为不等式比较规则时，遍历所述目标数据集中的各个记录；确定所述各个记录中主键属性的属性值大于等于所述合并后的倒排索引中对应的属性值的记录。

4.根据权利要求2所述的增量的时序数据冲突检测方法，其特征在于，所述当spark平台获取到输入的增量数据集之后，还包括：

判断所述增量数据集对应的表名称和主键属性的名称是否正确；

若否，则纠正存在错误的表名称和主键属性的名称；

若是，则执行对所述增量数据集进行预处理，得到目标数据集的步骤。

5.根据权利要求2所述的增量的时序数据冲突检测方法，其特征在于，在利用预先建立的detect算子，对所述目标数据集的各个记录与对应的不满足所述比较规则的记录进行冲突检测之前，还包括：

创建BaseDetect类，并通过setClass接口，将所述BaseDetect类传入所述spark平台；

调用Method.invoke方法，按照所述BaseDetect类中的参数要求传入参数至所述spark平台，生成所述detect算子。

6.一种增量的时序数据冲突检测装置，其特征在于，包括：

预处理模块，用于当spark平台获取到输入的增量数据集后，对所述增量数据集进行预处理，得到目标数据集；

合并模块，用于对所述目标数据集中的主键属性建立倒排索引，并合并到历史数据倒排索引中；

确定模块，用于遍历所述目标数据集的各个记录，并确定合并后的倒排索引中与所述各个元组中对应主键属性不满足比较规则的记录；

检测模块，用于利用预先建立的detect算子，对所述目标数据集的各个记录与对应的不满足所述比较规则的记录进行冲突检测，得到冲突信息。

7.根据权利要求6所述的增量的时序数据冲突检测装置，其特征在于，所述预处理模块，包括：

生成单元，用于对所述增量数据集进行切片，生成RDD数据，并将所述RDD数据转换为DataFrame格式数据；

提取单元，用于利用SQL语句，对所述DataFrame格式数据进行提取，得到目标数据集。

8.根据权利要求6所述的增量的时序数据冲突检测装置，其特征在于，所述确定模块，包括：

第一确定单元，用于当所述比较规则为等式比较规则时，遍历所述目标数据集中的各个记录；确定所述各个记录中主键属性的属性值等于合并后的倒排索引中对应的属性值的记录；

第二确定单元，用于当所述比较规则为不等式比较规则时，遍历所述目标数据集中的各个记录；确定所述各个记录中主键属性的属性值大于等于所述合并后的倒排索引中对应的属性值的记录。