[发明专利]数据处理方法及其系统

说明书

技术领域

公开涉及数据处理领域，更具体地，涉及一种数据处理方法及其系统、以及一种非易失性存储介质和一种计算机系统。

背景技术

随着信息技术的飞速发展，各行各业积累了大量的数据，数据仓库应用越来越广泛。数据拉链式存储，主要应用于数据仓库的建设中，用于保留所有数据变化的历史状态，新产生的目标数据会存储到记录有变化前的目标数据的源数据表中，克服了线上系统只记录最新数据的缺陷，进一步，可以通过查询数据仓库获得某一时刻数据的状态即数据快照。

在实现本公开构思的过程中，发明人发现相关技术中至少存在如下问题：使用传统的拉链式的数据存储方法存储数据时，对于任何一条数据而言，其任何一个字段只要发生变化，就会完整记录该条数据，对数据库存储耗损较大，尤其当某条记录只有一个字段经常发生变化的时候，对数据库存储的耗损尤其严重。

针对相关技术中的上述问题，目前还未提出有效的解决方案。

发明内容

有鉴于此，本公开提供了一种数据处理方法和数据处理系统。

本公开的一个方面提供了一种数据处理方法，包括：获取目标数据；比较上述目标数据与参考数据，得到对应的差异数据，其中，上述目标数据与上述参考数据具有相同的数据标识，上述参考数据存储在目标表中；以及将上述差异数据存储在与上述目标表具有映射关系的映射表中，以代替对上述目标数据本身的存储。

根据本公开的实施例，上述方法还包括：在上述目标表中将上述参考数据更新为上述目标数据。

根据本公开的实施例，比较上述目标数据与参考数据，得到对应的差异数据包括：确定上述目标数据的第一数据内容和第一数据产生时间；确定上述参考数据的第二数据内容和第二数据产生时间；以及比较上述第一数据内容与上述第二数据内容以及比较上述第一数据产生时间与上述第二数据产生时间，得到内容差异数据和时间差异数据。

根据本公开的实施例，在比较上述目标数据与参考数据，得到对应的差异数据之前，上述方法还包括：检测上述目标表中是否存在上述参考数据；以及若检测到上述目标表中存在上述参考数据，则执行比较上述目标数据与参考数据，得到对应的差异数据的操作。

根据本公开的实施例，上述方法还包括：若检测到上述目标表中不存在上述参考数据，则将上述目标数据存储到上述目标表中。

根据本公开的实施例，上述方法还包括：接收用于指示查询上述目标数据的数据查询指令；根据上述数据查询指令的指示查询上述目标表，得到目标表查询结果；根据上述数据查询指令的指示查询上述映射表，得到映射表查询结果；以及根据上述映射表查询结果和上述目标表查询结果确定要查询的上述目标数据。

本公开的另一个方面提供了数据处理系统，包括：获取模块，用于获取目标数据；比较模块，用于比较上述目标数据与参考数据，得到对应的差异数据，其中，上述目标数据与上述参考数据具有相同的数据标识，上述参考数据存储在目标表中；以及第一存储模块，用于将上述差异数据存储在与上述目标表具有映射关系的映射表中，以代替对上述目标数据本身的存储。

根据本公开的实施例，更新模块，用于在上述目标表中将上述参考数据更新为上述目标数据。

根据本公开的实施例，上述比较模块包括：第一确定单元，用于确定上述目标数据的第一数据内容和第一数据产生时间；第二确定单元，用于确定上述参考数据的第二数据内容和第二数据产生时间；以及比较单元，用于比较上述第一数据内容与上述第二数据内容以及比较上述第一数据产生时间与上述第二数据产生时间，得到内容差异数据和时间差异数据。

根据本公开的实施例，上述系统还包括：检测模块，用于检测上述目标表中是否存在上述参考数据；以及执行模块，用于在检测到上述目标表中存在上述参考数据的情况下，执行比较上述目标数据与参考数据，得到对应的差异数据的操作。

根据本公开的实施例，上述系统还包括：第二存储模块，用于在检测到上述目标表中不存在上述参考数据的情况下，将上述目标数据存储到上述目标表中。

根据本公开的实施例，上述系统还包括：接收模块，用于接收用于指示查询上述目标数据的数据查询指令；第一查询模块，用于根据上述数据查询指令的指示查询上述目标表，得到目标表查询结果；第二查询模块，用于根据上述数据查询指令的指示查询上述映射表，得到映射表查询结果；以及确定模块，用于根据上述映射表查询结果和上述目标表查询结果确定要查询的上述目标数据。