[发明专利]神经网络模型压缩的方法、装置、存储介质和芯片

权利要求书

1.一种神经网络模型压缩的方法，其特征在于，包括：

服务器获取用户设备上传的第一神经网络模型和所述第一神经网络模型的训练数据；

所述服务器根据所述第一神经网络模型的训练数据和所述服务器存储的未标记数据，利用正类与未标记PU学习算法得到PU分类器；

所述服务器使用所述PU分类器，从所述服务器存储的未标记数据中选择出扩展数据，所述扩展数据为与所述第一神经网络模型的训练数据具有相似属性与分布的数据；

所述服务器根据所述扩展数据，利用知识蒸馏KD方法训练第二神经网络模型，所述第一神经网络模型作为所述KD方法的教师网络模型，所述第二神经网络模型作为所述KD方法的学生网络模型。

2.根据权利要求1所述的方法，其特征在于，所述服务器根据所述第一神经网络的训练数据和所述服务器存储的未标记数据，利用正类与未标记PU学习算法得到PU分类器，包括：

所述服务器根据所述第一神经网络的训练数据、所述服务器存储的未标记数据和比例信息，利用正类与未标记PU学习算法得到所述PU分类器，所述PU学习算法的损失函数为所述第一神经网络的训练数据和所述服务器存储的未标记数据的训练损失的期望，所述比例信息用于指示所述扩展数据在所述服务器存储的未标记数据中的占比，所述比例信息用于计算所述期望。

3.根据权利要求2所述的方法，其特征在于，

所述PU分类器是根据第一特征和所述比例信息得到的，所述第一特征是基于多个第三特征融合获得的，所述多个第三特征是利用所述第一神经网络模型对所述第一神经网络的训练数据和所述服务器存储的未标记数据进行特征提取得到的，所述多个第三特征与所述第一神经网络的多个层一一对应，

所述服务器使用所述PU分类器，从所述服务器存储的未标记数据中选择出扩展数据，包括：

所述服务器利用所述第一神经网络模型对所述服务器存储的未标记数据进行特征提取，以得到第二特征；

所述服务器将所述第二特征，输入所述PU分类器，以确定所述扩展数据。

4.根据权利要求3所述的方法，其特征在于，所述第一特征是利用经过第一权重调整之后的多个第三特征融合获得的，所述第一权重调整是基于根据所述比例信息进行的，所述第二特征是利用所述第一权重对多个第四特征融合得到的，所述多个第四特征与所述第一神经网络的所述多个层一一对应。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述第一神经网络模型的训练数据为用于训练所述第一神经网络模型的训练数据中的部分训练数据。

6.根据权利要求5所述的方法，其特征在于，所述部分训练数据包括所述第一神经网络输出的多个类别中每个类别的数据。

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述服务器根据所述扩展数据，利用KD方法训练第二神经网络模型，包括：

所述服务器将所述扩展数据输入所述第一神经网络模型，以对所述扩展数据进行分类，得到多类扩展数据以及所述多类扩展数据中每类扩展数据的第二权重；

所述服务器最小化所述KD方法的损失函数，以得到训练后的第二神经网络模型，其中，所述KD方法的损失函数为所述多类扩展数据中的各类扩展数据的训练误差与所述各类扩展数据的第二权重的乘积之和。

8.根据权利要求7所述的方法，其特征在于，所述各类扩展数据的第二权重包括对所述各类扩展数据的初始权重进行随机扰动后得到的多个扰动后的权重，所述KD方法的损失函数包括所述多个扰动后的权重一一对应多个损失函数，其中，所述各类扩展数据的初始权重与所述各类扩展数据的数量负相关，

所述服务器最小化所述KD方法的损失函数，以得到训练后的第二神经网络模型，包括：所述服务器最小化所述多个损失函数的最大值，以得到训练后的第二神经网络模型。