[发明专利]数据处理方法及装置在审
申请号: | 202310892250.X | 申请日: | 2023-07-19 |
公开(公告)号: | CN116629351A | 公开(公告)日: | 2023-08-22 |
发明(设计)人: | 周扬 | 申请(专利权)人: | 支付宝(杭州)信息技术有限公司 |
主分类号: | G06N3/098 | 分类号: | G06N3/098;G06N5/043;G06F9/50 |
代理公司: | 北京博思佳知识产权代理有限公司 11415 | 代理人: | 靳玫 |
地址: | 310000 浙江省杭州市*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 | ||
1.一种数据处理方法,应用于端边云架构中的边缘节点,所述端边云架构包括相互连接的端节点、边缘节点和云节点,所述方法包括:
构建特征数据集,所述特征数据集包括至少一个初始特征数据,所述初始特征数据由所述端节点采集后上传至所述边缘节点;
将所述特征数据集输入深度学习模型,生成至少一个中间特征数据;
将所述至少一个中间特征数据回流至所述端节点和/或所述云节点,以使所述端节点和/或所述云节点根据所述至少一个中间特征数据进行模型推理或模型训练。
2.根据权利要求1所述的方法,所述构建特征数据集,包括:
确定计算策略,所述计算策略为流式计算策略或批量计算策略;
根据所述计算策略,构建所述特征数据集。
3.根据权利要求2所述的方法,在所述计算策略为流式计算策略的情况下,所述特征数据集包含一个初始特征数据。
4.根据权利要求2所述的方法,在所述计算策略为批量计算策略的情况下,所述根据所述计算策略,构建所述特征数据集,包括:
基于时间窗口汇聚所述端节点上传的初始特征数据,所述特征数据集包括所述时间窗口内所述端节点上传的至少一个初始特征数据。
5.根据权利要求1所述的方法,所述将所述至少一个中间特征数据回流至所述端节点和/或所述云节点,包括:
确定回流策略,所述回流策略包括流式传输策略和批量传输策略中的至少一种;
根据所述回流策略,将所述至少一个中间特征数据回流至所述端节点和/或所述云节点。
6.根据权利要求5所述的方法,在所述回流策略为流式回流策略的情况下,所述根据所述回流策略,将所述至少一个中间特征数据回流至所述端节点和/或所述云节点,包括:
将所述深度学习模型生成的每个中间特征数据实时回流至所述端节点和/或所述云节点。
7.根据权利要求5所述的方法,在所述回流策略为批量回流策略的情况下,所述根据所述回流策略,将所述至少一个中间特征数据回流至所述端节点和/或所述云节点,包括:
构建批量回流缓存,所述批量回流缓存用于汇聚所述深度学习模型生成的中间特征数据;
根据指定时间间隔,将所述批量回流缓存中汇聚到的中间特征数据回流至所述端节点和/或所述云节点。
8.根据权利要求1所述的方法,在所述将所述特征数据集输入深度学习模型,得到至少一个中间特征数据之后,所述方法还包括:
对所述至少一个中间特征数据进行压缩处理。
9.一种数据处理装置,应用于端边云架构中的边缘节点,所述端边云架构包括相互连接的端节点、边缘节点和云节点,所述装置包括:
构建模块,用于构建特征数据集,所述特征数据集包括至少一个初始特征数据,所述初始特征数据由所述端节点采集后上传至所述边缘节点;
生成模块,用于将所述特征数据集输入深度学习模型,生成至少一个中间特征数据;
回流模块,用于将所述至少一个中间特征数据回流至所述端节点和/或所述云节点,以使所述端节点和/或所述云节点根据所述至少一个中间特征数据进行模型推理或模型训练。
10.一种电子设备,包括:
处理器;
用于存储处理器可执行指令的存储器;
其中,所述处理器通过运行所述可执行指令以实现如权利要求1至8中任一项所述的方法。
11.一种计算机可读存储介质,其上存储有计算机指令,该指令被处理器执行时实现如权利要求1至8中任一项所述方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于支付宝(杭州)信息技术有限公司,未经支付宝(杭州)信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310892250.X/1.html,转载请声明来源钻瓜专利网。