[发明专利]数据处理方法以及装置在审
申请号: | 202210762371.8 | 申请日: | 2022-06-30 |
公开(公告)号: | CN115080241A | 公开(公告)日: | 2022-09-20 |
发明(设计)人: | 郭志强 | 申请(专利权)人: | 支付宝(杭州)信息技术有限公司 |
主分类号: | G06F9/50 | 分类号: | G06F9/50 |
代理公司: | 北京智信禾专利代理有限公司 11637 | 代理人: | 金鹏 |
地址: | 310013 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 以及 装置 | ||
1.一种数据处理方法,应用于第一处理端,所述方法包括:
确定若干个目标对象和所述目标对象各自对应的多个处理算子,其中,所述目标对象携带针对所述多个处理算子的执行序列,每个处理算子对应一个数据队列,所述处理算子为对所述目标对象的特征向量进行降维处理的算子;
在对所述目标对象执行任一处理算子的情况下,冻结所述目标对象,并将所述目标对象添加至所述任一处理算子对应的数据队列;
从任一数据队列中提取多个目标对象,并将所述多个目标对象发送至第二处理端,使所述第二处理端对所述多个目标对象并发执行所述任一数据队列对应的处理算子;
接收所述第二处理端反馈的处理结果,根据所述处理结果解冻所述多个目标对象。
2.根据权利要求1所述的方法,所述目标对象为图学习算法模型中关系图的点和边,所述处理算子为所述图学习算法模型中对点和/或边的特征向量进行降维处理的算子;
所述从任一数据队列中提取多个目标对象,并将所述多个目标对象发送至第二处理端,使所述第二处理端对所述多个目标对象并发执行所述任一数据队列对应的处理算子的步骤,包括:
从任一数据队列中提取多个点和/或边;
分别获取所述多个点和/或边各自的特征维度;
根据所述特征维度,将所述多个点和/或边转换为矩阵格式;
将所述矩阵格式的多个点和/或边发送至第二处理端,使所述第二处理端对所述多个点和/或边并发执行所述任一数据队列对应的处理算子。
3.根据权利要求1所述的方法,所述从任一数据队列中提取多个目标对象,并将所述多个目标对象发送至第二处理端,使所述第二处理端对所述多个目标对象并发执行所述任一数据队列对应的处理算子的步骤,包括:
利用多个线程依次从所述任一数据队列中提取多个目标对象,并将所述多个目标对象发送至第二处理端,使所述第二处理端对至少一个线程发送的多个目标对象并发执行所述任一数据队列对应的处理算子的同时,至少另一个线程正在发送多个目标对象。
4.根据权利要求1所述的方法,所述确定若干个目标对象和所述目标对象对应的多个处理算子的步骤之前,还包括:
针对任一目标对象,根据运行需求,设置该目标对象对应的多个处理算子的执行序列,其中,所述执行序列中包括所述多个处理算子的执行顺序;
分别为所述多个处理算子设置各自对应的数据队列。
5.根据权利要求1所述的方法,所述接收所述第二处理端反馈的处理结果的步骤之后,还包括:
根据所述第二处理端反馈的处理结果更新所述多个目标对象的执行状态。
6.根据权利要求1所述的方法,所述将所述目标对象添加至所述任一处理算子对应的数据队列的步骤,包括:
获取所述任一处理算子对应的预设算子标识;
根据所述预设算子标识,在多个数据队列中查找所述预设算子标识对应的数据队列;
将所述目标对象添加至所述预设算子标识对应的数据队列。
7.一种数据处理方法,应用于第二处理端,所述方法包括:
接收第一处理端发送的多个目标对象,其中,所述目标对象由所述第一处理端确定若干个目标对象和所述目标对象各自对应的多个处理算子,在对所述目标对象执行任一处理算子的情况下,冻结所述目标对象,并将所述目标对象添加至所述任一处理算子对应的数据队列,从任一数据队列中提取得到,所述目标对象携带针对所述多个处理算子的执行序列,每个处理算子对应一个数据队列,所述处理算子为对所述目标对象的特征向量进行降维处理的算子;
对所述多个目标对象并发执行所述任一数据队列对应的处理算子,获得处理结果;
向所述第一处理端反馈所述处理结果,使所述第一处理端根据所述处理结果解冻所述多个目标对象。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于支付宝(杭州)信息技术有限公司,未经支付宝(杭州)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210762371.8/1.html,转载请声明来源钻瓜专利网。