[发明专利]数据处理方法、装置、系统、计算设备以及存储介质

说明书

本申请提供了一种数据处理方法，所述方法包括：接收第一客户端发送的任务处理请求，所述任务处理请求携带多个待处理文件，所述多个待处理文件包括：多个样本文件以及用于处理所述多个样本文件的可执行程序文件；将所述多个样本文件划分为多个文件集合，每个文件集合包括至少一个所述可执行程序文件对应的至少一个样本文件；将所述可执行程序文件与所述多个文件集合分配给所述多个分布式处理节点，以使所述处理节点采用其接收到的所述可执行程序文件处理其对应的所述样本文件并获得所述样本文件的处理结果；及从所述多个分布式处理节点获取每个所述可执行程序文件对应的各个样本文件的所述处理结果。

技术领域

本申请涉及信息技术领域，尤其涉及一种数据处理方法、装置、系统、计算设备以及存储介质。

背景技术

随着信息技术的发展，越来越多的人们利用计算设备来完成包含许多数据或文件的任务，例如，复杂的数据算法任务、复杂的数据分析任务等等，当数据或文件的数量少时，人们利用计算设备能够很好地完成任务，一旦数据或文件的数量暴增，即使利用计算设备进行大量的数据或文件处理，也会给用户带来耗时严重的不好体验，所以如何快速地处理大量的数据或文件是解决上述问题的关键。

发明内容

本申请提出了以下技术方案，能够分布式处理可执行程序文件及其样本文件并获得可执行程序文件的处理结果。

本申请实例提出了一种数据处理方法，所述方法包括：接收第一客户端发送的任务处理请求，所述任务处理请求携带多个待处理文件，所述多个待处理文件包括：多个样本文件以及用于处理所述多个样本文件的可执行程序文件；将所述多个样本文件划分为多个文件集合，每个文件集合包括至少一个所述可执行程序文件对应的至少一个样本文件；将所述可执行程序文件与所述多个文件集合分配给所述多个分布式处理节点，以使所述处理节点获得所述可执行程序文件对所述样本文件的处理结果；及获取所述多个分布式处理节点发送的每个所述可执行程序文件对应的各个样本文件的所述处理结果。

本申请实例还提出了一种数据处理装置，所述装置包括：接收模块，接收第一客户端发送的任务处理请求，所述任务处理请求携带多个待处理文件，所述多个待处理文件包括：多个样本文件以及用于处理所述多个样本文件的可执行程序文件；划分模块，将所述多个样本文件划分为多个文件集合，每个文件集合包括至少一个所述可执行程序文件对应的至少一个样本文件；分配模块，将所述可执行程序文件与所述多个文件集合分配给所述多个分布式处理节点，以使所述处理节点获得所述可执行程序文件对所述样本文件的处理结果；及获取模块，获取所述多个分布式处理节点发送的每个所述可执行程序文件对应的各个样本文件的所述处理结果。

在一些实例中，所述装置进一步包括：生成模块，生成包含所述处理结果的记录文件；记录发送模块，发送所述记录文件至记录文件提供服务器，以便所述记录文件提供服务器提供所述记录文件给所述第一应用客户端。

在一些实例中，所述任务处理请求还携带第二客户端的地址，所述第二客户端用于展示所述处理结果；所述装置进一步包括：结果发送模块，根据所述第二客户端的地址将所述处理结果发送至所述第二客户端。

在一些实例中，所述划分模块，根据所述样本文件的数量以及所述分布式处理节点的数量，将所述多个样本文件划分为多个文件集合。

在一些实例中，所述划分模块，包括：第一确定单元，根据所述样本文件的数量以及所述分布式处理节点的数量，确定每个分布式处理节点处理的所述样本文件的数量；第二确定单元，根据所述每个分布式处理节点处理的所述样本文件的数量，确定每个分布式处理节点一次处理所述样本文件的数量；及划分单元，根据所述每个分布式处理节点一次处理所述样本文件的数量，将所述多个样本文件划分为多个文件集合。