[发明专利]在终端和云端上混合部署深度学习神经网络的方法和系统

权利要求书

1.一种在终端和云端上混合部署深度学习神经网络的方法，其特征在于，采用分布式系统架构，利用云端与终端混合部署神经网络，互相配合共同完成推理运算任务；

其中，在终端设备上部署训练好的深度神经网络压缩模型，在云端上部署深度神经网络。

2.根据权利要求1所述的在终端和云端上混合部署深度学习神经网络的方法，其特征在于，终端上部署的神经网络输出的检测结果，若检测结果满足置信度的标准，则流程结束；若检测结果不能满足置信度的标准，则终端实现的初始特征样本将传至云端，由云端完整的深度神经网络进行进一步处理。

3.根据权利要求1所述的在终端和云端上混合部署深度学习神经网络的方法，其特征在于，通过使用基于熵的确定标准，在神经网络的早期点对样本进行分类，称为早期出口点；

如果在一个早期出口点，根据目标类的计算概率向量的熵，认为样本置信度已经被可信分类，就不需要由更高的云端神经网络层进行进一步的计算；反之，就将数据发送到云端进行进一步的推理计算；

出口点被设置在物理边界上。

4.根据权利要求1所述的在终端和云端上混合部署深度学习神经网络的方法，其特征在于，神经网络的推断在按物理设备划分的阶段中使用预测出口阈值T作为对样本预测的置信度的度量；使用归一化熵的阈值作为置信条件，来决定是否在某一出口点完成对样本进行分类；归一化熵η被定义为：

其中C是所有可能的标签的集合，x是一个概率向量，下标i表示序号；这个归一化熵的值在0和1之间；若η小于0.5则表示关于样本的预测是可信的；若η大于等于0.5则表示它是不可信的；在出口点计算出η并与T进行比较，以确定是否应在该出口点流程结束；

在给定的终端设备出口点上，如果预测结果是不可信的，即η>T，则进一步进入云端执行分类操作。

5.根据权利要求1所述的在终端和云端上混合部署深度学习神经网络的方法，其特征在于，在终端和云端之间的分布式计算层次中使用边缘服务器来垂直扩展；边缘服务器的作用是从终端设备中获取输出，进行聚合和分类，如果需要更多的处理，则将自己的中间输出转发给云端；在终端本地正确分类的样本在没有与边缘服务器或云端进行任何通信的情况下流程结束；需要更多特征提取的样本会被发送到边缘服务器，如果有必要，最终会被发送到云端。

6.一种在终端和云端上混合部署深度学习神经网络的系统，其特征在于，采用分布式系统架构，利用云端与终端混合部署神经网络，互相配合共同完成推理运算任务；

其中，在终端设备上部署训练好的深度神经网络压缩模型，在云端上部署深度神经网络。

7.根据权利要求6所述的在终端和云端上混合部署深度学习神经网络的系统，其特征在于，终端上部署的神经网络输出的检测结果，若检测结果满足置信度的标准，则流程结束；若检测结果不能满足置信度的标准，则终端实现的初始特征样本将传至云端，由云端完整的深度神经网络进行进一步处理。

8.根据权利要求6所述的在终端和云端上混合部署深度学习神经网络的系统，其特征在于，通过使用基于熵的确定标准，在神经网络的早期点对样本进行分类，称为早期出口点；

如果在一个早期出口点，根据目标类的计算概率向量的熵，认为样本置信度已经被可信分类，就不需要由更高的云端神经网络层进行进一步的计算；反之，就将数据发送到云端进行进一步的推理计算；

出口点被设置在物理边界上。