[发明专利]一种数据批处理的方法及设备

说明书

本申请的目的是提供一种数据批处理的方法及设备，本申请通过判断待批处理数据的处理延时要求是否小于等于预设阈值，若小于等于，获取所述待批处理数据中的事务的依赖关系和对应的依赖顺序，将所述待批处理数据中的事务按所述依赖关系和依赖顺序合并成组合事务，对每个组合事务进行批处理，其中，每个组合事务包含一个或多个没有依赖关系的事务；若大于，则将所述待批处理数据的更新操作进行拆分，得到删除操作和插入操作，将属于所述待批处理数据的同一键值下的删除操作和插入操作进行合并，将合并后的所有键值下的删除操作和插入操作分别进行批处理，从而根据不同的场景需求采用不同的数据批处理方案。

技术领域

本申请涉及计算机领域，尤其涉及一种数据批处理的方法及设备。

背景技术

随着信息技术的发展，云时代的来临，大数据也吸引了越来越多的关注，大数据指的是大小超出常规的数据工具获取、存储、管理和分析能力的数据集，并不是说一定要超过TB值得数据集才能算是大数据。大数据几乎渗透到国民经济的所有部门，应用领域涉及信息服务、智慧城市、金融、制造业、国家安全和科学研究等。从数据计算响应性能角度看，大数据处理可分为实时/准实时与非实时计算，或者是联机计算与离线计算，在一些大型的业务处理系统中，为了提高业务处理速度，一般需要在多地部署机房，不同机房的数据库之间需要保持数据的同步，大数据系统中对数据进行实时/准实时同步是一个困难的课题，目前的大数据同步的方法延时较高、吞吐量较低，且不能接受各种数据源。

申请内容

本申请的一个目的是提供一种数据批处理的方法及设备，解决现有技术中进行大数据处理时的延时高、低吞吐量，不接受各种数据源的问题。

根据本申请的一个方面，提供了一种数据批处理的方法，该方法包括：

判断待批处理数据的处理延时要求是否小于等于预设阈值，

若小于等于，获取所述待批处理数据中的事务的依赖关系和对应的依赖顺序，将所述待批处理数据中的事务按所述依赖关系和依赖顺序合并成组合事务，对每个组合事务进行批处理，其中，每个组合事务包含一个或多个没有依赖关系的事务；

若大于，将所述待批处理数据的更新操作进行拆分，得到删除操作和插入操作，将属于所述待批处理数据的同一键值下的删除操作和插入操作进行合并，将合并后的所有键值下的删除操作和插入操作分别进行批处理。

进一步地，上述方法中，获取所述待批处理数据中的事务的依赖关系和对应的依赖顺序，将所述待批处理数据中的事务按所述依赖关系和依赖顺序合并成组合事务，对每个组合事务进行批处理，包括：

将所述待批处理数据转换成统一内部格式；

获取所述转换后的待批处理数据中的事务的依赖关系和对应的依赖顺序；

按照依赖关系和对应的依赖顺序将所述转换后的待批处理数据的多个事务进行合并，得到一个或多个组合事务，对每个组合事务进行批处理。

进一步地，所述统一内部格式包括：

数据操作类型、操作地址标识、数据所属的表名、多个数据列，其中，所述数据列包括一个或多个键值。

进一步地，上述方法中，获取所述转换后的待批处理数据中的事务的依赖关系和对应的依赖顺序，包括：

获取所述统一内部格式中的键值，根据所述键值获取所述转换后的待批处理数据中的事务的依赖关系和对应的依赖顺序。

更进一步地，根据所述键值获取所述转换后的待批处理数据中的事务的依赖关系，包括以下至少任一项：

根据所述键值中的主键获取在同一数据表内的多个事务之间的依赖关系；

根据所述键值中的外键获取不同数据表之间的多个事务之间的依赖关系；