[发明专利]一种基于数据库分段的分布式批量处理方法

权利要求书

1.一种基于数据库分段的分布式批量处理方法，其特征在于，包括以下步骤：

步骤1、定义分段参数，判断批量单元是否需要分段，如需分段则进行，如需分段则进行；

步骤2、对批量单元A，进行分段，分成N小段SQL任务；

步骤3、通过RPC远程过程调用ZK服务监控每台服务器的运行情况，将分段后的SQL任务分配到，相对空闲的服务器上运行。

2.根据权利要求1所述的一种基于数据库分段的分布式批量处理方法，其特征在于，步骤1中，判断批量单元是否需要分段具体包括以下步骤：

晚间批量的每个运行单元都有唯一JOB_ID，新增批量分段单元定义表，以JOB_ID作为主键，包含是否需要分段，分段执行类，以及分段执行SQL方法字段，每个分段的数据量，当晚间批量单元运行时，会根据J0B_ID去定义表中查询“是否分段”字段，若为‘Y’，则读取分段分段执行类字段以及分段执行SQL字段，同时根据获取的执行SQL方法到定义的XML中获取具体的执行SQL并加载执行。

3.根据权利要求1所述的一种基于数据库分段的分布式批量处理方法，其特征在于，步骤2具体包括以下步骤：

步骤2.1、查询需要做分段表的数据量，定义row_count别名；

步骤2.2、获取XML中配置的每小段SQL任务数据量，用总数据量/每小段SQL任务数据量，得到分段个数；

步骤2.3：得到每个分段的起始字段及结束，根据步骤2中得到的分段个数及总数据量，确定每个分段起始/结束分段具体的数值。

4.根据权利要求3所述的一种基于数据库分段的分布式批量处理方法，其特征在于，加载XML配置文件，读取配置文件中的分段SQL，该SQL包含初始分段字段；XML中配置了每个分段的初始字段名称和结束字段名称,初始字段和结束字段为数字或者字符，根据初始字段名称和结束字段名称从数据库查询出来的行数/每段的数据量，得到每段的初始字段的值和结束字段的值。