[发明专利]计算系统的作业任务处理方法、装置、存储介质和处理器

说明书

本发明公开了一种计算系统的作业任务处理方法、装置、存储介质和处理器。其中，该方法包括：主服务器获取多个需要并行处理的作业任务；主服务器将多个需要并行处理的作业任务进行分解，得到多个任务块，其中，任务块的类型包括：Map任务和Reduce任务；主服务器将每个任务块分配到对应的任务服务器上；主服务器接收每个任务服务器执行任务块而返回的结果。本发明解决了对海量的作业任务进行处理的效率低的技术问题。

技术领域

本发明涉及数据处理领域，具体而言，涉及一种计算系统的作业任务处理方法、装置、存储介质和处理器。

背景技术

目前，大型金融企业如银行或保险公司，由于行业的特殊性，需要搭建企业自有的邮件服务器，并对邮件内容进行解析，以防止数据泄露或者对敏感内容过滤，同时为了提高数据利用效率，会对保存的文件进行数据挖掘。为了解析和进一步挖掘这些邮件文件，各种建模分析和高级应用系统不断被提出。这些建模分析和高级应用系统的实现需要海量的数据作为支持。

现有的数据采集和处理系统多采用传统的关系型数据库存储数据，例如，SQLServer和Oracle，这两种数据库都是运用单线程或多线程技术对数据进行处理，对数据处理服务器的性能要求比较高，虽然能够满足日常的管理工作，但是难以满足建模分析和高级应用系统对数据规模和分辨率的需求，此外，若采用实时数据库系统方案，虽然能够满足数据采集分辨率的要求，但是随着数据量的增加，服务器负载率会比较高，处理速度过慢，效率不高，而高性能的计算机，实现成本也相对较高，从而会导致对海量的作业任务进行处理的效率低的问题。

针对上述对海量的作业任务进行处理的效率低的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种计算系统的作业任务处理方法、装置、存储介质和处理器，以至少解决对海量的作业任务进行处理的效率低的技术问题。

根据本发明实施例的一个方面，提供了一种计算系统的作业任务处理方法，该计算系统为基于分布式计算模型构建的系统，包括：客户端、主服务器和任务服务器，其中，主服务器获取多个需要并行处理的作业任务；主服务器将多个需要并行处理的作业任务进行分解，得到多个任务块，其中，任务块的类型包括：Map任务和Reduce任务；主服务器将每个任务块分配到对应的任务服务器上；主服务器接收每个任务服务器执行任务块而返回的结果。

可选地，Map任务用于处理输入数据而得到一组键值对，Reduce任务用于将具有相同键的键值对进行数据合并。

可选地，Map任务将预定时间内的输入数据进行预处理，生成一组键值对，预处理包括如下至少之一：筛选数据、解析数据串，其中，在作业任务为邮件作业的情况下，键值对包括：键和键值，键用于表征邮件ID，键值用于表征邮件数据，邮件数据包括如下至少之一：邮件敏感数据、邮件主题和邮箱。

可选地，Reduce任务用于将多个Map任务完成后，将具有相同键的Map任务进行合并，其中，在作业任务为邮件作业的情况下，Reduce任务用于将具有相同邮件ID的邮件数据进行合并处理。

可选地，在任意一个任务服务器检测到出现故障的情况下，主服务器将该任务服务器上执行的任务块重新分配到优先级最高的其他任务服务器上，其中，基于任务服务器的空闲资源量来确定优先级。

根据本发明实施例的另一方面，还提供了一种用于处理作业任务的计算系统，该计算系统为基于分布式计算模型构建的系统，包括：多个客户端、主服务器和任务服务器，其中，多个客户端，用于生成并发送作业任务；主服务器，与每个客户端通信，用于获取多个需要并行处理的作业任务，将多个需要并行处理的作业任务进行分解，得到多个任务块，其中，任务块的类型包括：Map任务和Reduce任务；多个任务服务器，每个任务服务器接收主服务器分配的任务块，并执行任务块而产生的结果返回给主服务器。

可选地，Map任务用于处理输入数据而得到一组键值对，Reduce任务用于将具有相同键的键值对进行数据合并。