[发明专利]数据处理方法及装置

说明书

本说明书实施例提供一种数据处理方法及装置，涉及计算机技术领域。该方法应用于端边云架构中的边缘节点，端边云架构包括相互连接的端节点、边缘节点和云节点。该方法包括：构建特征数据集，特征数据集包括至少一个初始特征数据，初始特征数据由端节点采集后上传至边缘节点；将特征数据集输入深度学习模型，生成至少一个中间特征数据；将至少一个中间特征数据回流至端节点和/或云节点，以使端节点和/或云节点根据至少一个中间特征数据进行模型推理或模型训练。本说明书提供的方案，通过控制深度学习模型中同时输入的初始特征数据的数量，进而使边缘节点上的数据处理链路能够同时兼容流式计算策略和批量计算策略。

技术领域

本说明书一个或多个实施例涉及计算机技术领域，尤其涉及一种数据处理方法及装置。

背景技术

随着边缘计算的兴起，边缘计算和云计算能够结合形成终端设备、边缘计算和云计算协同的分布式计算架构（端边云架构）。在端边云架构中，边缘节点上可以部署有各类深度学习模型，并向端节点和云节点提供服务。

相关技术中，边缘节点上部署的深度学习模型通常基于流式计算策略完成模型的推理和数据回流。然而在对数据实时性要求不高的应用场景下，流式计算策略会占用较多的系统资源，从而造成资源的浪费。因此，如何使当前边缘节点上的流式计算链路能够兼容批量计算策略便成了亟待解决的问题。

发明内容

有鉴于此，本说明书一个或多个实施例提供一种数据处理方法及装置。

为实现上述目的，本说明书一个或多个实施例提供技术方案如下：

根据本说明书一个或多个实施例的第一方面，提出了一种数据处理方法，应用于端边云架构中的边缘节点，端边云架构包括相互连接的端节点、边缘节点和云节点，该方法包括：

构建特征数据集，特征数据集包括至少一个初始特征数据，初始特征数据由端节点采集后上传至边缘节点；

将特征数据集输入深度学习模型，生成至少一个中间特征数据；

将至少一个中间特征数据回流至端节点和/或云节点，以使端节点和/或云节点根据至少一个中间特征数据进行模型推理或模型训练。

根据本说明书一个或多个实施例的第二方面，提出了一种数据处理装置，应用于端边云架构中的边缘节点，端边云架构包括相互连接的端节点、边缘节点和云节点，该装置包括：

构建模块，用于构建特征数据集，特征数据集包括至少一个初始特征数据，初始特征数据由端节点采集后上传至边缘节点；

生成模块，用于将特征数据集输入深度学习模型，生成至少一个中间特征数据；

回流模块，用于将至少一个中间特征数据回流至端节点和/或云节点，以使端节点和/或云节点根据至少一个中间特征数据进行模型推理或模型训练。

根据本说明书一个或多个实施例的第三方面，提出了一种电子设备，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，处理器通过运行可执行指令以实现如第一方面的方法。

根据本说明书一个或多个实施例的第四方面，提出了一种计算机可读存储介质，其上存储有计算机指令，该指令被处理器执行时实现如第一方面方法的步骤。

本说明书提供的数据处理方法，可以应用于端边云架构中的边缘节点。其中，端边云架构包括相互连接的端节点、边缘节点和云节点。具体地，该方法包括：构建特征数据集，特征数据集包括至少一个初始特征数据，初始特征数据由端节点采集后上传至边缘节点；将特征数据集输入深度学习模型，生成至少一个中间特征数据；将至少一个中间特征数据回流至端节点和/或云节点，以使端节点和/或云节点根据至少一个中间特征数据进行模型推理或模型训练。本说明书提供的方案，通过将端节点上传的初始特征数据构建为容量不固定的特征数据集，从而控制深度学习模型中同时输入的初始特征数据的数量，进而使边缘节点上的数据处理链路能够同时兼容流式计算策略和批量计算策略。

附图说明