[发明专利]数据处理方法、装置、电子设备及可读存储介质有效
申请号: | 202110349020.X | 申请日: | 2021-03-31 |
公开(公告)号: | CN112948694B | 公开(公告)日: | 2023-06-27 |
发明(设计)人: | 张吉 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | G06F16/9535 | 分类号: | G06F16/9535;G06F16/951;G06F16/901;G06Q30/0251 |
代理公司: | 北京银龙知识产权代理有限公司 11243 | 代理人: | 许静;黄灿 |
地址: | 100080 北京*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 电子设备 可读 存储 介质 | ||
1.一种数据处理方法,其特征在于,应用于应用服务器,包括:
在第一图结构模型的各处理节点中确定目标处理节点,所述处理节点用于对输入数据进行处理,以得到所述输入数据对应的目标特征向量;
将所述目标处理节点替换为查询节点,得到第二图结构模型,所述查询节点用于请求目标设备查询并返回所述输入数据对应的目标特征向量;
其中,所述目标设备存储有至少一个参数矩阵,所述参数矩阵用于存储数据索引与特征向量的对应关系。
2.根据权利要求1所述的方法,其特征在于,所述在第一图结构模型的各处理节点中确定目标处理节点,包括:
读取与每个所述处理节点相关联的参数矩阵,并确定占用存储空间大于或者等于预设阈值的参数矩阵为第一参数矩阵;
将与所述第一参数矩阵相关联的处理节点确定为所述目标处理节点。
3.根据权利要求1或2所述的方法,其特征在于,所述将所述目标处理节点替换为查询节点,得到第二图结构模型,包括:
确定所述第一图结构模型中的目标存储节点;其中,所述目标存储节点与所述目标处理节点相关联,所述目标存储节点用于存储供所述目标处理节点使用的处理参数;
在所述目标存储节点中确定第一存储节点,所述第一存储节点存储的处理参数可供所述查询节点使用;
将所述查询节点添加至所述第一图结构模型中,并将所述查询节点与所述第一存储节点进行关联处理;
利用所述查询节点的运算文件,对所述查询节点进行加载,得到所述第二图结构模型。
4.根据权利要求3所述的方法,其特征在于,所述在所述目标存储节点中确定第一存储节点之后,所述方法还包括:
删除所述目标处理节点和第二存储节点,所述第二存储节点为所述目标存储节点中除所述第一存储节点之外的存储节点。
5.根据权利要求3所述的方法,其特征在于,所述第一图结构模型为Tensorflow图结构模型,所述利用所述查询节点的运算文件,对所述查询节点进行加载,得到所述第二图结构模型之前,所述方法还包括以下任意一项:
通过Tensorflow接口,从共享链接库获取所述查询节点的运算文件;或者,
基于Tensorflow框架,编译所述查询节点的运算文件。
6.一种数据处理方法,其特征在于,应用于第二图结构模型的任意一个查询节点,所述第二图结构模型包括至少一个所述查询节点;所述方法包括:
接收所述查询节点的输入数据,所述输入数据包括用户数据或对象数据中的至少一项;
基于所述输入数据,向目标设备发送请求消息,所述请求消息用于请求所述目标设备查询并返回所述输入数据对应的目标特征向量,所述目标设备存储有至少一个参数矩阵,所述参数矩阵用于存储数据索引与特征向量之间的对应关系;
接收并输出来自于所述目标设备的所述目标特征向量。
7.根据权利要求6所述的方法,其特征在于,与所述查询节点相关联的目标参数矩阵所占用存储空间大于或等于预设阈值。
8.根据权利要求6所述的方法,其特征在于,在所述第二图结构模型中,所述查询节点与第一存储节点相关联,所述第一存储节点用于存储供所述查询节点使用的处理参数。
9.根据权利要求6所述的方法,其特征在于,所述第二图结构模型为Tensorflow图结构模型,所述查询节点的运算文件基于以下任意一项得到:
通过Tensorflow接口,从共享链接库获取所述查询节点的运算文件;或者,
基于Tensorflow的运算框架,编译所述查询节点的运算文件。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110349020.X/1.html,转载请声明来源钻瓜专利网。