[发明专利]神经网络模型压缩的方法、装置、存储介质和芯片

说明书

本申请提供了人工智能领域中的一种神经网络模型压缩的方法，包括：服务器获取用户设备上传的第一神经网络模型和第一神经网络的训练数据；根据第一神经网络的训练数据和服务器存储的未标记数据，得到PU分类器；使用PU分类器，从服务器存储的未标记数据中选择扩展数据，扩展数据具有与第一神经网络模型的训练数据相似属性与分布；根据扩展数据，利用知识蒸馏KD方法训练第二神经网络模型，第一神经网络模型作为教师网络模型，第二神经网络模型作为学生网络模型。采用PU分类器，从未标记数据中选择与第一神经网络模型的训练数据具有相似属性与分布的数据，提高神经网络模型压缩的准确性，避免大量正样本数据的传输。

技术领域

本申请涉及人工智能领域，尤其涉及一种神经网络模型压缩的方法及装置。

背景技术

人工智能(artificial intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能

计算机视觉是各个应用领域，如制造业、检验、文档分析、医疗诊断，和军事等领域中各种智能/自主系统中不可分割的一部分，它是一门关于如何运用照相机/摄像机和计算机来获取我们所需的，被拍摄对象的数据与信息的学问。形象地说，就是给计算机安装上眼睛(照相机/摄像机)和大脑(算法)用来代替人眼对目标进行识别、跟踪和测量等，从而使计算机能够感知环境。因为感知可以看作是从感官信号中提取信息，所以计算机视觉也可以看作是研究如何使人工系统从图像或多维数据中“感知”的科学。总的来说，计算机视觉就是用各种成象系统代替视觉器官获取输入信息，再由计算机来代替大脑对这些输入信息完成处理和解释。计算机视觉的最终研究目标就是使计算机能像人那样通过视觉观察和理解世界，具有自主适应环境的能力。

卷积神经网络模型通常会存在大量的冗余参数。为了将CNN网络应用于智能手机等算力有限的终端设备，可以对现有的卷积神经网络模型进行压缩和加速。神经网络模型压缩技术需要提供大量训练数据才能使网络收敛到较好的结果，然而让用户上传大量数据到云端是非常费时的，会造成用户体验的下降。部分神经网络模型压缩技术仅适用少量训练数据来进行模型压缩，但压缩后的神经网络模型难以达到令人满意的效果。

发明内容

本申请提供一种神经网络模型压缩的方法、装置、存储介质和芯片，以减小传输的数据量，提高用户体验。

第一方面，提供一种神经网络模型压缩的方法，包括：服务器获取用户设备上传的第一神经网络模型和所述第一神经网络的训练数据；所述服务器根据所述第一神经网络的训练数据和所述服务器存储的未标记数据，利用正类与未标记PU学习算法得到PU分类器；所述服务器使用所述PU分类器，从所述服务器存储的未标记数据中选择出扩展数据，所述扩展数据为与所述第一神经网络模型的训练数据具有相似属性与分布的数据；所述服务器根据所述扩展数据，利用知识蒸馏KD方法训练第二神经网络模型，所述第一神经网络模型作为所述KD方法的教师网络模型，所述第二神经网络模型作为所述KD方法的学生网络模型。

利用第一神经网络的训练数据和未标记数据，训练得到PU分类器，对未标记数据进行分类，得到与第一神经网络模型的训练数据具有相似属性与分布的数据。根据这些与所述第一神经网络模型的训练数据具有相似属性与分布的数据，能够实现神经网络模型的压缩，在保证神经网络模型压缩准确性的同时，减小了传输的数据量。

结合第一方面，在一些可能的实现方式中，所述服务器根据所述第一神经网络的训练数据、所述服务器存储的未标记数据和比例信息，利用正类与未标记PU学习算法得到PU分类器，所述PU学习算法的损失函数为所述第一神经网络的训练数据和所述服务器存储的未标记数据的训练损失的期望，所述比例信息用于指示所述扩展数据在所述服务器存储的未标记数据中的占比，所述比例信息用于计算所述期望。