[发明专利]一种增量的时序数据冲突检测方法、装置和存储介质

摘要

本申请公开了一种增量的时序数据冲突检测方法、装置、电子设备和存储介质，包括：当spark平台获取到输入的增量数据集后，对增量数据集进行预处理，得到目标数据集；对目标数据集中的主键属性建立倒排索引，并合并到历史数据倒排索引中；遍历目标数据集的各个记录，并确定合并后的倒排索引中与各个元组中对应主键属性不满足比较规则的记录；利用预先建立的detect算子，对目标数据集的各个记录与对应的不满足比较规则的记录进行冲突检测，得到冲突信息。该方法只遍历增量数据集即目标数据集的各个记录来查找合并后的倒排索引中主键属性不满足规则的记录，得到冲突信息，提高了数据冲突检测效率，实现高效数据异常检测。