[发明专利]数据处理方法、装置、系统、计算设备以及存储介质有效
申请号: | 201810149142.2 | 申请日: | 2018-02-13 |
公开(公告)号: | CN108256118B | 公开(公告)日: | 2023-09-22 |
发明(设计)人: | 任光辉;崔精兵;张友旭 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F16/182 | 分类号: | G06F16/182;G06F21/56 |
代理公司: | 北京德琦知识产权代理有限公司 11018 | 代理人: | 步文娟;王琦 |
地址: | 518057 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 系统 计算 设备 以及 存储 介质 | ||
1.一种数据处理方法,其特征在于,应用于数据处理系统中的主节点服务器,所述数据处理系统包括:多个主节点服务器、多个分布式处理节点、以及调度服务器;其中每个主节点服务器对应多个分布式处理节点,所述调度服务器用于将任务处理请求中的待处理文件分配给所述多个主节点服务器;所述方法包括:
当主节点服务器监听到调度服务器接收到第一客户端发送的任务处理请求时,从所述调度服务器获取所述任务处理请求,所述任务处理请求携带多个待处理文件,所述多个待处理文件包括:多个样本文件以及用于处理所述多个样本文件的可执行程序文件;
将所述多个样本文件划分为多个文件集合,每个文件集合包括至少一个所述可执行程序文件对应的至少一个样本文件;
确定所述主节点服务器对应的多个分布式处理节点,并从所述多个分布式处理节点中选择一部分分布式处理节点;其中,所述主节点服务器对应的多个分布式处理节点中未被选择的分布式处理节点用于根据所述主节点服务器接收的其他任务处理请求携带的可执行程序文件处理其对应的样本文件;
读取存储在所述主节点服务器本地的分布式处理节点的地址列表,根据所述地址列表创建与每个所选择的分布式处理节点的Socket通信连接;
通过所述Socket通信连接将所述可执行程序文件与所述多个文件集合分别发送给每个所述选择的多个分布式处理节点,当可执行程序文件为TAV杀毒引擎可执行程序文件,样本文件为待查杀文件时,以使每个所述选择的分布式处理节点接收到一个TAV杀毒引擎可执行程序文件及对应的文件集合后,安装TAV杀毒引擎可执行程序文件,运行该TAV杀毒引擎可执行程序文件,并对该文件集合中的每个待查杀文件进行杀毒并获取每个待查杀文件的查杀结果;及
通过所述Socket通信连接获取所述多个分布式处理节点发送的每个所述TAV杀毒引擎可执行程序文件对应的各个待查杀文件的查杀结果。
2.根据权利要求1所述的方法,其特征在于,所述方法进一步包括:
生成包含处理结果的记录文件;及
发送所述记录文件至记录文件提供服务器,以便所述记录文件提供服务器提供所述记录文件给第一应用客户端。
3.根据权利要求1所述的方法,其特征在于,所述任务处理请求还携带第二客户端的地址,所述第二客户端用于展示处理结果;
所述方法进一步包括:
根据所述第二客户端的地址发送所述处理结果至所述第二客户端。
4.根据权利要求1所述的方法,其特征在于,所述将所述多个样本文件划分为多个文件集合,包括:
根据所述样本文件的数量以及所述分布式处理节点的数量,将所述多个样本文件划分为多个文件集合。
5.根据权利要求4所述的方法,其特征在于,所述根据所述样本文件的数量以及所述分布式处理节点的数量,将所述多个样本文件划分为多个文件集合,包括:
根据所述样本文件的数量以及所述分布式处理节点的数量,确定每个分布式处理节点处理的所述样本文件的数量;
根据所述每个分布式处理节点处理的所述样本文件的数量,确定每个分布式处理节点一次处理所述样本文件的数量;及
根据所述每个分布式处理节点一次处理所述样本文件的数量,将所述多个样本文件划分为多个文件集合。
6.根据权利要求1所述的方法,其特征在于,将所述可执行程序文件与所述多个文件集合分配给所述多个分布式处理节点,包括:
对于一个所述可执行程序文件,确定所述可执行程序文件对应的多个所述处理节点;
发送该可执行程序文件给所确定的所述多个处理节点;
向所确定的所述多个处理节点分别发送该可执行程序文件对应的一个所述文件集合;
当接收到任一个所述处理节点发送的一个所述文件集合中的各个样本文件的处理结果时,向该处理节点发送该可执行程序文件对应的下一个所述文件集合,直至发送完该可执行程序文件对应的最后一个所述文件集合。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201810149142.2/1.html,转载请声明来源钻瓜专利网。