[发明专利]数据查重方法、装置、设备及计算机存储介质

权利要求书

1.一种数据查重方法，其特征在于，所述数据查重方法包括如下步骤：

当接收到目标数据，检测是否对所述目标数据进行查重处理；

若是，则检测所述目标数据对应的数据交易是否满足预设的忽略条件；

若不满足，则计算所述目标数据对应的当前摘要，并确定所述当前摘要对应的目标时间范围，将所述目标时间范围和所述当前摘要插入至所述目标数据对应的摘要数据表，以获取目标摘要数据表，并检测所述目标摘要数据表是否发生主键唯一性冲突；

若所述目标摘要数据表发生主键唯一性冲突，则确定所述目标数据为重复数据。

2.如权利要求1所述的数据查重方法，其特征在于，所述确定所述当前摘要对应的目标时间范围的步骤，包括：

获取所述当前摘要对应的当前时间范围，并确定所述当前时间范围的上一个时间范围；

根据所述当前时间范围和所述上一个时间范围确定所述目标时间范围。

3.如权利要求2所述的数据查重方法，其特征在于，所述根据所述当前时间范围和所述上一个时间范围确定所述目标时间范围的步骤，包括：

确定所述上一个时间范围的初始时间节点，确定所述当前时间范围的结束时间节点，并将所述初始时间节点至所述结束时间节点的时间范围作为目标时间范围。

4.如权利要求1所述的数据查重方法，其特征在于，所述计算所述目标数据对应的当前摘要的步骤，包括：

检测所述目标数据对应的配置项是否满足预设配置条件；

若所述配置项满足预设配置条件，则获取所述数据交易对应的业务流水号和所述目标数据对应的报文，将所述业务流水号和所述报文进行转换处理，以获取当前摘要。

5.如权利要求4所述的数据查重方法，其特征在于，所述检测所述目标数据对应的配置项是否满足预设配置条件的步骤之后，包括：

若所述配置项不满足预设配置条件，则获取所述目标数据对应的报文，并对所述报文进行转换处理，以获取当前摘要。

6.如权利要求1所述的数据查重方法，其特征在于，所述检测是否对所述目标数据进行查重处理的步骤，包括：

获取预设的多个目标参数，并检测所述目标数据对应的数据交易是否和各所述目标参数匹配；

若所述数据交易和各所述目标参数匹配，则确定对所述数据交易进行数据查重处理。

7.如权利要求1-6任一项所述的数据查重方法，其特征在于，所述检测所述目标数据对应的数据交易是否满足预设的忽略条件的步骤，包括：

获取预设的配置防重忽略表，并检测所述数据交易的交易类型是否和所述配置防重忽略表中的忽略配置项匹配；

若所述交易类型和所述忽略配置项不匹配，则确定所述数据交易不满足预设的忽略条件。

8.一种数据查重装置，其特征在于，所述数据查重装置包括：

第一检测模块，用于当接收到目标数据，检测是否对所述目标数据进行查重处理；

第二检测模块，用于若是，则检测所述目标数据对应的数据交易是否满足预设的忽略条件；

计算模块，用于若不满足，则计算所述目标数据对应的当前摘要，并确定所述当前摘要对应的目标时间范围，将所述目标时间范围和所述当前摘要插入至所述目标数据对应的摘要数据表，以获取目标摘要数据表，并检测所述目标摘要数据表是否发生主键唯一性冲突；

确定模块，用于若所述目标摘要数据表发生主键唯一性冲突，则确定所述目标数据为重复数据。

9.一种数据查重设备，其特征在于，所述数据查重设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据查重程序，所述数据查重程序被所述处理器执行时实现如权利要求1至7中任一项所述的数据查重方法的步骤。

10.一种计算机存储介质，其特征在于，所述计算机存储介质上存储有数据查重程序，所述数据查重程序被处理器执行时实现如权利要求1至7中任一项所述的数据查重方法的步骤。