[发明专利]业务表的批量处理方法及装置、非易失性存储介质

说明书

本发明公开了一种业务表的批量处理方法及装置、非易失性存储介质。其中，该方法包括：响应于接收到的批量处理请求，获取多个待批量处理业务表；确定上述多个待批量处理业务表之间的基础关联关系；确定每个待批量处理业务表的关联需求逻辑和关联取数逻辑，其中，基于预先确定的不同关联需求确定上述关联需求逻辑，基于上述待批量处理业务表对应的不同种类接口，确定不同的上述关联取数逻辑；基于上述基础关联关系、上述关联需求逻辑和上述关联取数逻辑，对上述多个待批量处理业务表进行批量关联处理。本发明解决了现有技术中在批量处理业务表时，同类型表需反复关联多次，消耗时间长且资源占用率高的技术问题。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种业务表的批量处理方法及装置、非易失性存储介质。

背景技术

图1是根据现有技术的一种传统的业务表的批量处理示意图，如图1所示，目前多表关联方案多使用嵌套查询(在一个SELECT语句的WHERE子句或HAVING子句中嵌套另一个SELECT语句的查询)、SQL脚本串行执行SQL逐层加工、存储过程等方式实现，在批量处理海量数据时，同类型表需反复关联多次，会消耗大量的时间，并对CPU和内存造成巨的压力。

但是，在数据时效性要求较高时，简单的函数或语法优化批量关联次数较多，无法实现缩短SQL任务执行时间同时有效的降低资源占用率，即现有的多表关联方案已无法满足用户需求。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种业务表的批量处理方法及装置、非易失性存储介质，以至少解决现有技术中在批量处理业务表时，同类型表需反复关联多次，消耗时间长且资源占用率高的技术问题。

根据本发明实施例的一个方面，提供了一种业务表的批量处理方法，包括：响应于接收到的批量处理请求，获取多个待批量处理业务表；确定上述多个待批量处理业务表之间的基础关联关系；确定每个待批量处理业务表的关联需求逻辑和关联取数逻辑，其中，基于预先确定的不同关联需求确定上述关联需求逻辑，基于上述待批量处理业务表对应的不同种类接口，确定不同的上述关联取数逻辑；基于上述基础关联关系、上述关联需求逻辑和上述关联取数逻辑，对上述多个待批量处理业务表进行批量关联处理。

可选的，确定上述多个待批量处理业务表之间的基础关联关系，包括：对上述多个待批量处理业务表进行基础关联关系的加工处理，其中，上述加工处理包括增量追加处理和/或全量覆盖处理；基于加工处理结果确定上述多个待批量处理业务表之间的基础关联关系。

可选的，对上述多个待批量处理业务表进行基础关联关系的加工处理，包括：通过对上述多个待批量处理业务表中的新增数据进行增量追加关联处理，得到增量关联结果，并基于上述增量关联结果确定上述多个待批量处理业务表的第一基础关联关系；和/或对上述多个待批量处理业务表中的全部数据进行全量覆盖关联处理，得到全量关联结果，并基于上述全量关联结果确定上述多个待批量处理业务表的第二基础关联关系。

可选的，基于上述基础关联关系、上述关联需求逻辑和上述关联取数逻辑，对上述多个待批量处理业务表进行批量关联处理，包括：根据上述多个待批量处理业务表的基础关联关系，对上述多个待批量处理业务表进行第一批量关联处理，得到第一批量关系处理结果；基于上述第一批量关联处理结果和上述关联需求逻辑，对上述待批量处理业务表进行第二批量关联处理，得到第二批量关系处理结果；基于上述第二批量关联处理结果和上述关联取数逻辑，对上述待批量处理业务表进行第三批量关联处理，得到第三批量关系处理结果。

可选的，在对上述多个待批量处理业务表进行批量关联处理之后，上述方法还包括：对上述第一批量关联处理结果、上述第二批量关系处理结果、上述第三批量关系处理结果进行分段存储。