[发明专利]一种数据处理方法、系统及相关设备在审
申请号: | 202111112579.7 | 申请日: | 2021-09-18 |
公开(公告)号: | CN115509734A | 公开(公告)日: | 2022-12-23 |
发明(设计)人: | 胡天驰;沈胜宇;黄江乐 | 申请(专利权)人: | 华为技术有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;G06F16/22;G06F16/9535;G06K9/62;G06Q30/06 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 熊永强;李稷芳 |
地址: | 518129 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据处理 方法 系统 相关 设备 | ||
1.一种数据处理方法,其特征在于,应用于包括一个或多个计算节点以及一个或多个内存节点的推荐系统,所述内存节点包括近内存加速器和存储器,所述存储器存储有嵌入表,包括:
所述近内存加速器接收计算节点发送的获取请求,所述获取请求包括命令标识与多个目标向量在所述嵌入表中的索引信息,所述命令标识指示所述内存节点对所述多个目标向量进行处理的处理流程;
所述近内存加速器根据所述索引信息从所述存储器的嵌入表中获取所述多个目标向量;
所述近内存加速器根据所述命令标识指示的处理流程对所述多个目标向量进行处理得到目标数据,并将所述目标数据发送给所述计算节点。
2.根据权利要求1所述的方法,其特征在于,所述获取请求还包括目标特征向量和相似度操作符,所述命令标识为第一类型的命令标识;
所述近内存加速器根据所述命令标识指示的处理流程对所述多个目标向量进行处理得到目标数据,包括:
所述近内存加速器根据所述相似度操作符确定所述多个目标向量中各个目标向量与所述目标特征向量之间的相似度;
所述近内存加速器根据所述各个目标向量与所述目标特征向量之间的相似度,确定预设数量的目标向量,将所述预设数据量的目标向量或者所述预设数量的目标向量的索引信息确定为所述目标数据。
3.根据权利要求1所述的方法,其特征在于,所述获取请求还包括目标特征向量和相似度操作符,所述内存节点中的向量属于多种类别,每种类别的向量对应有表示该类别的类别向量,所述命令标识为第二类型的命令标识;
所述近内存加速器根据所述命令标识指示的处理流程对所述多个目标向量进行处理得到目标数据,包括:
所述近内存加速器根据所述多个目标向量对应的多个类别向量,确定所述多个类别向量中各个类别向量与所述目标特征向量之间的相似度;
所述近内存加速器根据所述各个类别向量与所述目标特征向量之间的相似度,确定每种类别对应的权重;
所述近内存加速器根据所述每种类别对应的权重从每种类别的向量中获取对应数量的向量,得到第一向量集;
所述近内存加速器根据所述第一向量集中各个目标向量与所述目标特征向量之间的相似度,确定预设数量的目标向量,将所述预设数据量的目标向量或者所述预设数据量的目标向量的索引信息确定为所述目标数据。
4.根据权利要求1所述的方法,其特征在于,所述获取请求还包括目标特征向量、相似度操作符和聚合操作符,所述命令标识为第三类型的标识;
所述近内存加速器根据所述命令标识指示的处理流程对所述多个目标向量进行处理得到目标数据,包括:
所述近内存加速器根据所述相似度操作符确定所述多个目标向量中各个目标向量与所述目标特征向量之间的相似度;
所述近内存加速器根据所述各个目标向量与所述目标特征向量之间的相似度,确定预设数量的目标向量;
所述近内存加速器根据所述聚合操作符对所述预设数量的目标向量执行聚合操作,得到所述目标数据。
5.根据权利要求4所述的方法,其特征在于,所述获取请求还包括权重数组;
所述近内存加速器根据所述聚合操作符对所述预设数量的目标向量执行聚合操作,得到所述目标数据,包括:
所述近内存加速器根据所述聚合操作符和所述权重数组对所述预设数量的目标向量执行聚合操作,得到所述目标数据。
6.根据权利要求1所述的方法,其特征在于,所述获取请求还包括聚合操作符,所述命令标识为第四类型的标识;
所述近内存加速器根据所述命令标识指示的处理流程对所述多个目标向量进行处理得到目标数据,包括:
所述近内存加速器根据所述聚合操作符对所述多个目标向量执行聚合操作,得到所述目标数据。
7.根据权利要求6所述的方法,其特征在于,所述获取请求还包括权重数组;
所述近内存加速器根据所述命令标识指示的处理流程对所述多个目标向量进行处理得到目标数据,包括:
所述近内存加速器根据所述聚合操作符和所述权重数组对所述多个目标向量执行聚合操作,得到所述目标数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华为技术有限公司,未经华为技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111112579.7/1.html,转载请声明来源钻瓜专利网。