[发明专利]数据更新方法及装置

说明书

本发明公开了一种数据更新方法及装置。其中，该方法包括：对获取到的待校验数据进行正确性校验；在上述待校验数据通过上述正确性校验的情况下，对上述待校验数据进行增量计算得到增量数据；依据上述增量数据更新目标数据库中的存储数据，其中，上述目标数据库至少包括：线上数据库。本发明解决了现有技术中在同步线上数据库数据时存在批量操作限制，且无法保证线下生产数据的正确性的技术问题。

技术领域

本发明涉及大数据技术领域，具体而言，涉及一种数据更新方法及装置。

背景技术

随着人工智能时代的来临，数据时代已经从大数据存储和计算转移到大数据实时线上应用的阶段，其中，Hadoop框架侧重于关注大量数据的存储，深度学习框架tensorflow侧重于关注大数据的高效计算，但是，对于已经积累了大量数据的互联网公司而言，如何实时或者在短时间内将存储和计算而来的大数据大规模更新到线上系统，并支持线上业务运营，已经是当前阶段要解决的主要问题。

但是，现有技术中大数据在线下生产环节中普遍存在数据异常问题，并且，将线下海量数据与线上系统进行同步时还存在批量操作限制的瓶颈。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据更新方法及装置，以至少解决现有技术中在同步线上数据库数据时存在批量操作限制，且无法保证线下生产数据的正确性的技术问题。

根据本发明实施例的一个方面，提供了一种数据更新方法，包括：对获取到的待校验数据进行正确性校验；在上述待校验数据通过上述正确性校验的情况下，对上述待校验数据进行增量计算得到增量数据；依据上述增量数据更新目标数据库中的存储数据，其中，上述目标数据库至少包括：线上数据库。

进一步地，对获取到的待校验数据进行正确性校验，包括：检测上述待校验数据的数据类型，上述数据类型包含以下至少之一：数值型、字符型；确定与上述数据类型对应的当前状态指标数据；比对上述当前状态指标数据和历史状态指标数据，得到比对结果，其中，上述历史状态指标数据预存于历史滑动窗口状态库中；依据上述比对结果确定上述待校验数据是否通过上述正确性校验。

进一步地，依据上述比对结果确定上述待校验数据是否通过上述正确性校验，包括：依据上述比对结果确定上述当前状态指标数据和历史状态指标数据之间的差异量数据；判断上述差异量数据是否处于预定差异范围内；若上述差异量数据处于上述预定差异范围内，则确定上述待校验数据通过上述正确性校验，若上述差异量数据未处于上述预定差异范围内，则确定上述待校验数据未通过上述正确性校验。

进一步地，在确定上述待校验数据未通过上述正确性校验的情况下，上述方法还包括：通过触发熔断处理机制对上述待校验数据的生成日志进行排错处理；基于排错处理后的上述生成日志重新生成上述待校验数据；对重新生成的上述待校验数据进行上述正确性校验。

进一步地，在对上述待校验数据进行增量计算得到增量数据之前，上述方法还包括：检测上述目标数据库的更新次数；在上述更新次数等于零的情况下，获取通过上述正确性校验的全量数据，并将上述全量数据导入上述目标数据库中；在上述更新次数大于零的情况下，执行对上述待校验数据进行增量计算得到增量数据的步骤。

进一步地，上述待校验数据至少包括：第一全量数据和第二全量数据，对上述待校验数据进行增量计算得到增量数据，包括：获取上述第一全量数据和上述第二全量数据，其中，上述第一全量数据和上述第二全量数据为处于不同更新阶段的全量数据；比对上述第一全量数据和上述第二全量数据，确定上述第一全量数据和上述第二全量数据之间数据状态发生变化的数据；将上述数据状态发生变化的数据作为上述增量数据。