[发明专利]一种网络模型的量化方法、装置及设备

说明书

本申请提供一种网络模型的量化方法、装置及设备，该方法包括：将第一精度浮点型输入特征输入给待量化网络层得到第一输出特征；基于超参组合确定第一精度浮点型参数值对应的第二精度浮点型参数值、第一精度浮点型输入特征对应的第二精度浮点型输入特征；确定待量化网络层对应的量化后网络层，量化后网络层采用第二精度浮点型参数值；将第二精度浮点型输入特征输入给量化后网络层得到超参组合对应的第二输出特征；基于第一输出特征与每个超参组合对应的第二输出特征的相似度，将最大相似度对应的超参组合对应的第二精度浮点型参数值更新为待量化网络层的目标参数值，得到待量化网络层对应的目标网络层。通过本申请方案，节省存储资源和计算资源。

技术领域

本申请涉及人工智能领域，尤其是一种网络模型的量化方法、装置及设备。

背景技术

机器学习是实现人工智能的一种途径，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习用于研究计算机如何模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习更加注重算法设计，使计算机能够自动地从数据中学习规律，并利用规律对未知数据进行预测。

机器学习已经有了十分广泛的应用，如深度学习、数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、语音和手写识别等。

为了采用机器学习实现人工智能处理，服务器需要获取大量样本数据，并基于这些样本数据训练出机器学习模型，并将该机器学习模型部署到终端设备(如摄像机等)，以使终端设备基于该机器学习模型实现人工智能处理。

终端设备基于机器学习模型实现人工智能处理时，终端设备需要存储机器学习模型，而机器学习模型通常会占用终端设备的大量存储资源。终端设备基于机器学习模型实现人工智能处理时，需要运行机器学习模型，而运行机器学习模型通常会占用终端设备的大量计算资源，运算量很大，且终端设备的资源消耗很大，很难在计算资源有限的终端设备上运行机器学习模型。

发明内容

本申请提供一种网络模型的量化方法，针对初始网络模型中每个待量化网络层，所述待量化网络层采用第一精度浮点型参数值，所述方法包括：

将第一精度浮点型输入特征输入给待量化网络层得到第一输出特征；

获取多个超参组合，每个超参组合均包括指数位宽、尾数位宽和指数偏移；

针对每个超参组合，基于所述超参组合确定所述第一精度浮点型参数值对应的第二精度浮点型参数值、所述第一精度浮点型输入特征对应的第二精度浮点型输入特征，第二精度低于第一精度；确定待量化网络层对应的量化后网络层，所述量化后网络层采用所述第二精度浮点型参数值；将所述第二精度浮点型输入特征输入给量化后网络层得到所述超参组合对应的第二输出特征；

基于所述第一输出特征与每个超参组合对应的第二输出特征的相似度，将最大相似度对应的超参组合对应的第二精度浮点型参数值，更新为所述待量化网络层的目标参数值，得到所述待量化网络层对应的目标网络层。

本申请提供一种网络模型的量化装置，针对初始网络模型中每个待量化网络层，所述待量化网络层采用第一精度浮点型参数值，所述装置包括：

获取模块，用于将第一精度浮点型输入特征输入给待量化网络层得到第一输出特征，并获取多个超参组合，每个超参组合均包括指数位宽、尾数位宽和指数偏移，指数位宽和尾数位宽是基于已获取的总比特位宽确定；

确定模块，用于针对每个超参组合，基于所述超参组合确定第一精度浮点型参数值对应的第二精度浮点型参数值、第一精度浮点型输入特征对应的第二精度浮点型输入特征，第二精度低于第一精度；确定待量化网络层对应的量化后网络层，所述量化后网络层采用所述第二精度浮点型参数值；将第二精度浮点型输入特征输入给量化后网络层得到所述超参组合对应的第二输出特征；