[发明专利]一种数据批处理的方法及设备

权利要求书

1.一种数据批处理的方法，其中，所述方法包括：

判断待批处理数据的处理延时要求是否小于等于预设阈值，

若小于等于，获取所述待批处理数据中的事务的依赖关系和对应的依赖顺序，将所述待批处理数据中的事务按所述依赖关系和依赖顺序合并成组合事务，对每个组合事务进行批处理，其中，每个组合事务包含一个或多个没有依赖关系的事务；

若大于，将所述待批处理数据的更新操作进行拆分，得到删除操作和插入操作，将属于所述待批处理数据的同一键值下的删除操作和插入操作进行合并，将合并后的所有键值下的删除操作和插入操作分别进行批处理。

2.根据权利要求1所述的方法，其中，获取所述待批处理数据中的事务的依赖关系和对应的依赖顺序，将所述待批处理数据中的事务按所述依赖关系和依赖顺序合并成组合事务，对每个组合事务进行批处理，包括：

将所述待批处理数据转换成统一内部格式；

获取转换成统一内部格式后的待批处理数据中的事务的依赖关系和对应的依赖顺序；

按照依赖关系和对应的依赖顺序将所述转换后的待批处理数据的多个事务进行合并，得到一个或多个组合事务，对每个组合事务进行批处理。

3.根据权利要求2所述的方法，其中，所述统一内部格式包括：

数据操作类型、操作地址标识、数据所属的表名、多个数据列，其中，所述数据列包括一个或多个键值。

4.根据权利要求2所述的方法，其中，获取所述转换后的待批处理数据中的事务的依赖关系和对应的依赖顺序，包括：

获取所述统一内部格式中的键值，根据所述键值获取所述转换后的待批处理数据中的事务的依赖关系和对应的依赖顺序。

5.根据权利要求4所述的方法，其中，根据所述键值获取所述转换后的待批处理数据中的事务的依赖关系，包括以下至少任一项：

根据所述键值中的主键获取在同一数据表内的多个事务之间的依赖关系；

根据所述键值中的外键获取不同数据表之间的多个事务之间的依赖关系；

根据用户自定义及所述键值获取多个事务之间的依赖关系。

6.根据权利要求2所述的方法，其中，对每个组合事务进行批处理，包括：

将每个组合事务的更新操作进行拆分，汇总得到每个组合事务内的删除操作和插入操作；

将汇总的每个组合事务内的删除操作和插入操作分别进行批量处理。

7.根据权利要求6所述的方法，其中，将汇总的每个组合事务内的删除操作和插入操作分别进行批量处理，包括：

将每个组合事务内的删除操作和插入操作分别进行汇总，得到每个组合事务内的删除操作和插入操作；

对每个组合事务内的删除操作进行批处理；

对每个组合事务内的插入操作进行批处理。

8.根据权利要求6所述的方法，其中，将汇总每个组合事务内的删除操作和插入操作分别进行批量处理，包括：

将每个组合事务内的删除操作和插入操作进行汇总，得到每个组合事务内的删除操作和插入操作；

根据所述组合事务内的删除操作和插入操作分别建立对应待删除数据库外表和插入数据库外表；

根据所述删除数据库外表，对每个组合事务内的删除操作进行批处理；

根据所述插入数据库外表，对每个组合事务内的插入操作进行批处理。

9.根据权利要求6所述的方法，其中，将汇总的每个组合事务内的删除操作和插入操作分别进行批量处理之前或之后，还包括：

通过编程接口及用户自定义转换方式对待批处理数据进行数据转换。