[发明专利]一种分布式处理系统、数据处理的方法及设备有效
申请号: | 201610303417.4 | 申请日: | 2016-05-09 |
公开(公告)号: | CN107357639B | 公开(公告)日: | 2019-09-17 |
发明(设计)人: | 马靖波;裴泽良 | 申请(专利权)人: | 腾讯科技(深圳)有限公司 |
主分类号: | G06F9/46 | 分类号: | G06F9/46 |
代理公司: | 深圳市深佳知识产权代理事务所(普通合伙) 44285 | 代理人: | 王仲凯 |
地址: | 518000 广东省深圳*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 分布式 处理 系统 数据处理 方法 设备 | ||
1.一种分布式处理系统,其特征在于,包括:控制节点、配置更新节点、第一计算节点和第二计算节点,所述第一计算节点用于处理终端上报的特性数据和所述控制节点分配的特性数据,所述第二计算节点用于处理所述第一计算节点产生的特性数据和所述控制节点分配的特性数据;
所述控制节点在所述配置更新节点中的特性数据发生更新时,从所述配置更新节点获取待处理特性数据的类型和特性标识,所述类型用于标识所述待处理特性数据的归属计算节点,所述归属计算节点为所述第一计算节点或所述第二计算节点;
所述控制节点根据所述特性标识,确定进程索引信息,所述进程索引信息用于指示所述待处理特性数据在所述归属计算节点上所属的处理进程;
所述控制节点根据所述进程索引信息,向所述归属计算节点的所述处理进程调度所述待处理特性数据的数据索引信息或者所述待处理特性数据,所述数据索引信息用于所述归属计算节点获取所述待处理特性数据;
所述归属计算节点处理所述待处理特性数据,得到处理后的特性数据。
2.根据权利要求1所述的分布式处理系统,其特征在于,所述控制节点获取待处理特性数据的类型和特性标识,包括:
所述控制节点在获取到所述第一计算节点或所述第二计算节点中的进程出现异常时,获取发生异常的进程上所处理的特性数据的类型和特性标识作为所述待处理特性数据的类型和特性标识。
3.根据权利要求1-2任一所述的分布式处理系统,其特征在于,所述控制节点根据所述特性标识,确定进程索引信息,包括:
所述控制节点根据特性标识与进程索引信息之间的对应关系,确定所述特性标识所对应的所述进程索引信息。
4.根据权利要求1-2任一所述的分布式处理系统,其特征在于,所述分布式处理系统还包括存储节点,
所述归属计算节点按照版本号、比特位信息和数据内容的结构存储所述处理后的特性数据。
5.一种数据处理的方法,其特征在于,所述方法应用于分布式处理系统,所述分布式处理系统包括控制节点、配置更新节点、第一计算节点和第二计算节点,所述第一计算节点用于处理终端上报的特性数据和所述控制节点分配的特性数据,所述第二计算节点用于处理所述第一计算节点产生的特性数据和所述控制节点分配的特性数据,所述方法包括:
所述控制节点在所述配置更新节点中的特性数据发生更新时,从所述配置更新节点获取待处理特性数据的类型和特性标识,所述类型用于标识所述待处理特性数据的归属计算节点,所述归属计算节点为所述第一计算节点或所述第二计算节点;
所述控制节点根据所述特性标识,确定进程索引信息,所述进程索引信息用于指示所述待处理特性数据在所述归属计算节点上所属的处理进程;
所述控制节点根据所述进程索引信息,向所述归属计算节点的所述处理进程调度所述待处理特性数据的数据索引信息或者所述待处理特性数据,所述数据索引信息用于所述归属计算节点获取所述待处理特性数据,以使所述归属计算节点处理所述待处理特性数据。
6.根据权利要求5所述的方法,其特征在于,所述控制节点获取待处理特性数据的类型和特性标识,包括:
所述控制节点在获取到所述第一计算节点或所述第二计算节点中的进程出现异常时,获取发生异常的进程上所处理的特性数据的类型和特性标识作为所述待处理特性数据的类型和特性标识。
7.根据权利要求5-6任一所述的方法,其特征在于,所述控制节点根据所述特性标识,确定进程索引信息,包括:
所述控制节点根据特性标识与进程索引信息之间的对应关系,确定所述特性标识所对应的所述进程索引信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于腾讯科技(深圳)有限公司,未经腾讯科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201610303417.4/1.html,转载请声明来源钻瓜专利网。