[发明专利]一种基于分布式深度神经网络框架的数据划分方法

说明书

本发明涉及智能制造领域，具体的说是一种基于分布式深度神经网络框架的数据划分方法。本发明根据用户的实时性和安全性要求，在本地添加提前退出点，降低传输时延，为系统提供更好的隐私保护；根据加工现场的实际情况进行系统建模；根据系统模型用数学方法解析的推导出闭式解，使系统总时延最小；根据数学表达式分析不同参数对最优数据分配方法的影响，动态调整数据划分比例。本发明兼顾了边缘服务器的利用率和不同设备的数据处理能力，能够有效适应实际工业生产场景。

技术领域

本发明涉及智能制造领域，具体的说是一种基于分布式深度神经网络框架的数据划分方法。

背景技术

在智能制造领域，如何将深度学习模型部署在资源受限的终端设备，从而使智能更贴近用户，解决人工智能落地的“最后一公里”问题，已经引起广泛关注。

目前，为了在算力、能耗均受限的边缘或终端设备实现智能算法，通常采用模型推理优化技术和模型训练优化技术。其中，模型推理优化技术包括模型压缩、模型分割、模型选择、边缘缓存、输入过滤和模型提前退出。美国哈佛大学Surat团队提出的基于云、边、端协同的分布式深度神经网络(DDNN)框架将传统的深度神经网络任务进行切片划分，并通过模型提前退出减少三者之间不必要的数据传输。但分布式深度神经网络只完成了深度神经网络在本地和边缘侧的部署问题，没有考虑到任务执行过程中边缘的利用率和用户对系统实时性、隐私性的要求。

发明内容

针对工业加工现场终端设备资源受限、用户对加工过程实时性和隐私性的要求，为提高边缘服务器利用率，降低系统时延，本发明提供了一种基于分布式深度神经网络框架的数据划分方法。

本发明为实现上述目的所采用的技术方案是：

一种基于分布式深度神经网络框架的数据划分方法，包括以下步骤：

将原始数据进行预处理，并在终端设备添加退出点，将预处理后的原始数据全部退出，保留数据特征，得到特征数据；

针对工件检测场景建模，并制定数据划分策略，利用边缘服务器协同处理；

使用部署在终端设备的浅层神经网络模型处理特征数据，并将处理后的分类结果发送给聚合器；

聚合器将归一化信息熵和设定的阈值进行比较，判断分类结果是否可信，若归一化信息熵大于阈值，则分类结果不可信，否则，分类结果可信；

边缘服务器根据聚合器的判定结果，处理分类结果不可信特征数据以及直接划分到边缘服务器的特征数据；

对模型进行数学分析，得到使工件检测系统时延最小的数据划分方法。

所述原始数据包括：相机采集的图像数据、振动传感器采集到的振动数据。

工件检测具体为：

通过机器学习方法实时分析原始数据，判断工件是否合格。

所述针对工件检测场景建模具体为：

数据预处理时间为：t_pre＝nsc_pre，本地的数据处理时间为：t_local＝anksc_l+nsc_pre，边缘服务器的数据处理时间为：t_edge＝(1-a)nksc_e+(1+p)abknsc_e，系统总时延为：t＝max{t_local,t_edge}；其中n为待处理数据总量，s为数据大小，k为经过预处理的数据即特征数据大小与原始数据大小的比值，c_pre为预处理1mb数据所用时间，c_l为终端设备处理1mb数据所用时间，c_e为边缘服务器处理1mb数据所用时间。

所述制定数据划分策略，利用边缘协同处理具体为：