[发明专利]批量处理多重化方法

说明书

技术领域

本发明涉及高效率地进行所谓批量处理的技术。其中，特别是涉及为了高速地执行帐户批量处理等针对大量数据的批量处理，决定使用多个节点并行执行批量作业时的最佳处理的多重度的技术。

背景技术

目前，关于执行批量作业，提出了在专利文献1中公开的技术。在专利文献1中记载了如下内容：接受与定义了作业执行顺序的作业网有关的脚本数据的输入，根据所述脚本数据，针对每个所述作业网进行在所述作业网的执行中所使用的资源节点的分配要求，由此针对每个所述作业网分配根据该分配要求分配的资源节点。

【专利文献】特开2008-226181号公报

发明内容

在批量处理中，存在应该处理的数据量突发性地增加的情况。例如，作为证券业系统的课题，由于在投资信托的月末再投资处理中需要在特定日对所有账户进行处理、根据经济状况某天突然股票买卖件数增加以及由于IPO(新股上市)的集中导致买卖件数增加这类事情，使批量处理时间增加，结果，由于与每天的批量处理量的急剧变动相伴的批量处理的长时间，使第二天在线开始时间延迟，导致针对客户的在线服务提供时间被缩短、以及与长时间的批量处理在同一节点内同时执行的其他业务的批量处理等的处理时间也受到影响，结果，其他业务的在线开始时间也发生延迟，因此需要即使每天发生变动也要使批量处理时间均匀。

为了解决上述问题，在本发明中，当在多个节点中执行批量作业时，动态地设定包含该并行处理的处理的多重度。由此，在本发明中，提供一种通过柔性地设定执行多重度以及执行节点，有效使用资源，来缩短批量处理时间的方法。即使在特定日等的批量处理的件数增加时，通过扩展(scale out)批量处理来进行处理，不管处理件数的变动能够使处理时间均匀(接近)。由此，能够提前消除由于特定日的大量数据的批量处理，使批量处理时间长时间化，导致第二天在线开始延迟等的担心。

另外，在批量处理中，各处理的特性不同，具有需要CPU资源的批量处理、需要磁盘资源的批量处理，因此，在本发明中，提供以下的方法，通过使用者针对每个作业组设定参数，能够从两个种类中选择执行多重度的决定方式，并且能够根据要执行的作业的种类、输入数据的配置，以最佳的方式来决定作业的执行多重度，能够进一步缩短批量处理时间。

根据本发明能够更加高效地执行批量处理。

附图说明

图1表示本发明的一个实施方式的构成设备的整体结构。

图2表示在作业管理节点上的节点管理表的内容。

图3表示在作业管理节点上的子作业管理表的内容。

图4表示在作业管理节点上的作业管理表的内容。

图5表示作业管理节点上的数据配置信息表的内容。

图6表示作业管理节点上的作业组执行条件表的内容。

图7表示作业管理节点上的作业组执行节点组表的内容。

图8是表示本发明的一个实施方式的作业执行的流程的图。

图9是表示使用了子作业同步方式时的多重度决定的流程的图的前半部分。

图10是表示使用了子作业同步方式时的多重度决定的流程的图的后半部分。

图11是表示使用了子作业并行方式时的多重度决定的流程的图。

符号说明

101、客户节点；101、102、作业管理节点；102、103～105、作业执行节点

具体实施方式

参照附图详细说明用于实施本发明的方式。下面的实施方式只是例子，本发明并不限于下述的结构。

在本说明中为了方便，按照针对一个批量处理进程，分配一个CPU内核数204的设定来进行记述，但是并不依赖于物理上的CPU内核数，可以任意地设定针对节点201的处理多重度数(CPU内核数201)。在如多线程等那样成为多个线程时、或者在使用超线程时，也能够根据情况任意地设定。

图1表示本发明一实施方式的整个系统的结构。本实施方式的系统由客户节点101、作业管理节点102以及作业执行节点103-105构成。这些构成设备在相互能够沟通的状态下连接。使用者能够经由这些构成设备中的客户节点101进行针对系统的设定。具体地讲，使用者能够进行作业组执行条件表110的最小多重度242、最大多重度243、处理对象数据的开始键244、结束键245以及执行选择246的指定。此时，不关心使用者经由客户节点101进行的设定的方法。

接下来，参照流程图(图8～图11)，对本发明实施方式的处理流程进行说明。