[发明专利]数据处理的方法及装置

说明书

本发明实施例提供一种数据处理的方法及装置，该方法包括：获取待处理数据的数据文件，其中，所述数据文件包括数据存储日期和交易日期；根据所述数据存储日期与所述交易日期，判断所述待处理数据是否跳变；若所述待处理数据不跳变，则根据所述数据存储日期，判断所述待处理数据中是否有新增数据；若所述待处理数据中有新增数据，则基于所述新增数据进行数据处理。本发明实施例基于新增数据进行数据处理，从而避免了大量的重复数据的处理，解决了现有数据处理耗时长、业务响应慢，消耗大量系统资源的问题，满足多种应用场景需求。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种数据处理的方法及装置。

背景技术

随着经济的发展，人们接触到的数据越来越多，数据管理受到人们关注。以养老金管理为例，一般通过风控系统从托管行获取数据，进行相应处理。以便后续基于处理后的数据进行数据分析。

通常风控系统进行数据处理的方法是：通过定时执行所有偏移日期的组合任务。例如：设定定时为每天晚上八点，偏移日期为30天，则风控系统需要每天晚上八点对30天内所有组合任务数据进行处理。

然而，上述数据处理方法耗时长，导致业务响应速度慢，而且需要消耗大量系统资源，不适合实际应用。

发明内容

本发明实施例提供一种数据处理的方法及装置，以克服现有的数据处理方法耗时长，导致业务响应速度慢，而且需要消耗大量系统资源，不适合实际应用的问题。

第一方面，本发明实施例提供一种数据处理的方法，包括：

获取待处理数据的数据文件，其中，所述数据文件包括数据存储日期和交易日期；

根据所述数据存储日期与所述交易日期，判断所述待处理数据是否跳变；

若所述待处理数据不跳变，则根据所述数据存储日期，判断所述待处理数据中是否有新增数据；

若所述待处理数据中有新增数据，则基于所述新增数据进行数据处理。

可选地，还包括：

获取处理数据轨迹表，所述处理数据轨迹表包括已处理数据的存储日期；

所述根据所述数据存储日期，判断所述待处理数据中是否有新增数据，包括：

根据所述数据存储日期与所述已处理数据的日期，判断所述待处理数据中是否有新增数据。

可选地，所述根据所述数据存储日期与所述交易日期，判断所述待处理数据是否跳变，包括：

判断所述数据存储日期与所述交易日期是否一致；

若所述数据存储日期与所述交易日期一致，则判定所述待处理数据不跳变；

若所述数据存储日期与所述交易日期不一致，则判定所述待处理数据跳变。

可选地，在所述获取待处理数据的数据文件之后，还包括：

根据预设数据文件的格式，检测所述待处理数据的数据文件的格式是否正确；

若所述待处理数据的数据文件的格式正确，则根据预设关键字，检测所述待处理数据的数据文件是否完整；

若所述待处理数据的数据文件完整，则执行所述根据所述数据存储日期与所述交易日期，判断所述待处理数据是否跳变的步骤。

可选地，在所述获取待处理数据的数据文件之前，还包括：获取待处理数据；

所述获取待处理数据，包括：

设置数据处理量上限；