[发明专利]数据查重方法、装置、设备及计算机存储介质

说明书

本发明涉及金融科技(Fintech)技术领域，并公开了一种数据查重方法，该方法包括：当接收到目标数据，检测是否对所述目标数据进行查重处理；若是，则检测所述目标数据对应的数据交易是否满足预设的忽略条件；若不满足，则计算所述目标数据对应的当前摘要，并确定所述当前摘要对应的目标时间范围，将所述目标时间范围和所述当前摘要插入至所述目标数据对应的摘要数据表，以获取目标摘要数据表，并检测所述目标摘要数据表是否发生主键唯一性冲突；若所述目标摘要数据表发生主键唯一性冲突，则确定所述目标数据为重复数据。本发明还公开了一种数据查重装置、设备和一种计算机存储介质。本发明提高了数据查重处理的可用性。

技术领域

本发明涉及金融科技(Fintech)领域，尤其涉及数据查重方法、装置、设备及计算机存储介质。

背景技术

随着计算机技术的发展，越来越多的技术(大数据、分布式、区块链Blockchain、人工智能等)应用在金融领域，传统金融业正在逐步向金融科技(Fintech)转变，但由于金融行业的安全性、实时性要求，也对技术提出了更高的要求。目前在进行数据交易时，经常会由于如网络因素、技术因素、客户因素、或者为保证分布式一致性而采用的补偿手段等原因导致出现重复数据，严重影响到数据交易的正常进行，但针对重复数据进行的现有数据查重方式存在各种局限性(如需要较大的内存、或对业务代码具有侵入性等)，可用性低。因此，如何提高数据查重处理的可用性成为了目前亟待解决的技术问题。

发明内容

本发明的主要目的在于提出一种数据查重方法、装置、设备及计算机存储介质，旨在解决如何提高数据查重处理的可用性的技术问题。

为实现上述目的，本发明提供一种数据查重方法，所述数据查重方法包括如下步骤：

当接收到目标数据，检测是否对所述目标数据进行查重处理；

若是，则检测所述目标数据对应的数据交易是否满足预设的忽略条件；

若不满足，则计算所述目标数据对应的当前摘要，并确定所述当前摘要对应的目标时间范围，将所述目标时间范围和所述当前摘要插入至所述目标数据对应的摘要数据表，以获取目标摘要数据表，并检测所述目标摘要数据表是否发生主键唯一性冲突；

若所述目标摘要数据表发生主键唯一性冲突，则确定所述目标数据为重复数据。

可选地，确定所述当前摘要对应的目标时间范围的步骤，包括：

获取所述当前摘要对应的当前时间范围，并确定所述当前时间范围的上一个时间范围；

根据所述当前时间范围和所述上一个时间范围确定所述目标时间范围。

可选地，根据所述当前时间范围和所述上一个时间范围确定所述目标时间范围的步骤，包括：

确定所述上一个时间范围的初始时间节点，确定所述当前时间范围的结束时间节点，并将所述初始时间节点至所述结束时间节点的时间范围作为目标时间范围。

可选地，计算所述目标数据对应的当前摘要的步骤，包括：

检测所述目标数据对应的配置项是否满足预设配置条件；

若所述配置项满足预设配置条件，则获取所述数据交易对应的业务流水号和所述目标数据对应的报文，将所述业务流水号和所述报文进行转换处理，以获取当前摘要。

可选地，检测所述目标数据对应的配置项是否满足预设配置条件的步骤之后，包括：

若所述配置项不满足预设配置条件，则获取所述目标数据对应的报文，并对所述报文进行转换处理，以获取当前摘要。

可选地，检测是否对所述目标数据进行查重处理的步骤，包括：