[发明专利]数据处理系统、计算节点和数据处理的方法有效
| 申请号： | 201580001137.1 | 申请日： | 2015-02-06 |
| 公开（公告）号： | CN106062732B | 公开（公告）日： | 2019-03-01 |
| 发明（设计）人： | 黄国位;颜友亮;朱望斌 | 申请（专利权）人： | 华为技术有限公司 |
| 主分类号： | G06F17/16 | 分类号： | G06F17/16 |
| 代理公司： | 北京龙双利达知识产权代理有限公司 11329 | 代理人： | 毛威;肖鹂 |
| 地址： | 518129 广东*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 一种数据处理系统、计算节点和数据处理的方法，该数据处理系统(100)包括：管理节点(110)和第一类计算节点(120)，管理节点(110)用于向第一类计算节点(120)分配第一处理任务，第一类计算节点(120)中的至少两个计算节点(121)并行处理管理节点(110)分配的第一处理任务，计算节点(121)对数据块Mx以及数据块V1x执行合并combine2操作和归约reduce2操作获得的第一中间结果，管理节点(110)根据第一类计算节点(120)获得的第一中间结果获得待处理数据集的处理结果。所述数据处理系统(100)，对数据块进行合并操作和归约操作时，不需要等待所有的合并操作全部进行完成之后再进行归约操作，而是合并操作和归约操作交替进行，从而可以节省计算所占用的内存空间，减少计算时间。 | ||
| 搜索关键词： | 数据处理系统 计算 节点 数据处理 方法 | ||
【主权项】：
1.一种数据处理系统，其特征在于，所述数据处理系统包括管理节点和第一类计算节点，所述管理节点用于：向所述第一类计算节点中的至少两个计算节点分配第一处理任务，其中，FCx为所述至少两个计算节点中的第x个计算节点，x的取值为从1到X，X为大于1的正整数；所述第一类计算节点中的至少两个计算节点并行处理所述管理节点分配的第一处理任务；所述计算节点FCx，用于根据所述管理节点分配的第一处理任务，获取待处理的数据集中的数据块Mx和数据块V1x，其中，所述数据块Mx为包含m行n列数据的矩阵，所述数据块V1x为包含n维数据的向量，m和n为正整数，n的值不小于2；对所述数据块Mx以及所述数据块V1x执行合并combine2操作和归约reduce2操作，以获得第一中间结果V′x，所述第一中间结果V′x为包括m维数据的向量，所述第一中间结果V′x中的元素为v'i，i为变量，i的取值为从1到m，其中，v'i＝v'i,n，v'i,n根据v'i,j＝reduce2(v'i,j‑1,combine2(mi,j,vj))获得，mi,j为所述数据块Mx中的元素，vj为所述数据块V1x中的元素，j为变量，j的取值为从2到n，v'i,1＝combine2(mi,1,v1)；所述管理节点，还用于根据所述第一类计算节点中的至少两个计算节点获得的第一中间结果获得所述待处理数据集的处理结果。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华为技术有限公司，未经华为技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201580001137.1/，转载请声明来源钻瓜专利网。
