[发明专利]任务调度执行方法、装置及系统

说明书

本发明提供了一种任务调度执行方法、装置及系统，可用于金融领域的数据处理，该方法包括：获取任务事件，在数据存储节点存储任务事件的任务信息；任务信息包括任务类型信息；根据任务类型信息在数据存储节点中确定目标任务调度脚本和目标任务执行脚本，并根据目标任务调度脚本生成任务事件的调度数据；根据调度数据确定目标任务处理节点；将任务事件和目标任务执行脚本发送至目标任务处理节点，以使目标任务处理节点利用任务信息和目标任务执行脚本执行任务事件。本发明用数据存储节点存储任务调度脚本和任务执行脚本，可通过更新脚本调度数据和处理数据的逻辑，实现在线更新任务事件调度执行的逻辑，降低业务功能更新上线的复杂度。

技术领域

本发明涉及数据处理技术领域，尤其是涉及一种任务调度执行方法、装置及系统。需要说明的是，本公开提供的任务调度执行方法、装置及系统可用于金融领域分布式系统架构中的数据处理，也可用于除金融领域之外的任意领域分布式系统架构中的数据处理，本公开任务调度执行方法、装置及系统的应用领域不作限定。

背景技术

分析型系统存在大量数据导入，数据处理以及数据导出操作，在Oracle数据存储+Oracle存储过程数据处理这个模式下，通过Oracle的SQL(Structured Query Language，结构化查询语言)执行计划优化等措施，可以使得单点的数据库数据处理能力大大提升。但是随着业务规模的扩大，单点的性能容量已经无法满足业务发展的需要，目前常规的解决方法是对系统做分布式改造，用集群的处理能力提升系统整体性能。

分布式系统的架构中，关系型数据库仅用于数据存储，应用的分布式节点需要完成数据的查询，更新和处理。因此传统分析性应用在从Oracle实现数据存储和处理转型到数据库仅存储数据+分布式节点处理数据的过程中，存在以下问题：

1.存储过程处理数据时，获取被处理数据是由数据库引擎完成的，仅需考虑SQL的效率即可，而分布式改造后，分布式处理节点不仅要考虑SQL本身的效率，也要考虑数据从数据库到分布式处理节点的网络传输效率。如果单纯按照存储过程的处理方式，程序处理性能反而下降；

2.现有的分布式系统数据处理逻辑常常耦合在分布式任务处理节点的二进制执行文件中，相比于数据库存储过程模式下仅需要重新编译新的存储过程即可上线新的处理逻辑，分布式系统数据处理节点更新处理逻辑往往需要替换旧的执行文件并重启相关处理进程或容器，使得业务功能更新上线复杂度提高。

发明内容

本发明提供了一种任务调度执行方法、装置及系统，一方面可以简化业务逻辑实现从存储过程向分布式任务处理转型的难度，另一方面，通过将脚本化的任务调度和任务处理逻辑和分布式技术框架解耦，不仅可以在分布式系统的运行态完成任务调度和处理逻辑的更新，也提高分布式节点扩展性。

第一方面，本发明实施例提供了一种任务调度执行方法，应用于任务调度节点，该方法包括：获取任务事件，在数据存储节点存储所述任务事件的任务信息；所述任务信息包括任务类型信息；根据所述任务类型信息在所述数据存储节点中确定目标任务调度脚本和目标任务执行脚本，并根据所述目标任务调度脚本生成所述任务事件的调度数据；根据所述调度数据确定目标任务处理节点；将所述任务事件和所述目标任务执行脚本发送至所述目标任务处理节点，以使所述目标任务处理节点利用所述任务信息和所述目标任务执行脚本执行所述任务事件。

第二方面，本发明实施例还提供一种任务调度执行方法，应用于任务处理节点，该方法包括：接收任务调度节点发送的任务事件和目标任务执行脚本；根据所述目标任务执行脚本生成所述任务事件的执行数据；根据所述执行数据和任务信息生成所述任务事件的执行结果。