[发明专利]终端模型处理方法、装置及设备

说明书

本申请提供了终端模型处理方法、装置及电子设备，适用于人工智能领域中的模型小型化技术领域，该方法包括：将待处理的终端模型中的模型层划分为多个原层集合，并对各个原层集合进行多种轻量化处理得到对应的量化层集合。利用预设样本数据，对第二层集合进行权重参数迭代训练，或者对第一层集合和第二层集合进行权重参数迭代训练，直至模型收敛，完成对模型的轻量化训练。再基于轻量化训练得到模型对待处理数据进行处理，得到对应的处理结果。由于选取出的层集合权重参数的数据量小于原本的待处理模型，且模型运行时的计算量也大大减小，从而使得在保障模型性能的同时，模型的体积得以缩减并节约了计算资源。

技术领域

本申请属于人工智能技术领域，尤其涉及终端模型处理方法、装置及设备。

背景技术

随着人工智能(Artificial Intelligence，AI)技术的不断进步，利用AI提升电子设备智能化的场景也越来越丰富。例如通过在终端设备内置包含如神经网络模型等终端模型(以下简称模型)的AI应用，可以极大地丰富终端设备的功能，使得终端设备变得更为智能化。

为了提升模型的性能，往往会训练较多的权重参数来表示模型，这使得模型存储时占用的存储空间和运行时占用的计算资源等都会迅速增长，影响了终端设备的处理性能。特别是对应手机等计算资源较为有限的终端设备而言，甚至可能导致AI应用无法正常使用。

发明内容

有鉴于此，本申请实施例提供了终端模型处理方法、装置及设备，可以减小终端模型的内存占用空间以及计算资源，提高终端设备的处理性能。

本申请实施例的第一方面提供了一种终端模型处理方法，包括：

将待处理的终端模型中的模型层划分为多个原层集合，并对各个原层集合进行多种轻量化处理得到对应的量化层集合。利用预设样本数据，对第二层集合进行权重参数迭代训练，或者对第一层集合和第二层集合进行权重参数迭代训练，直至模型收敛，完成对模型的轻量化训练。再基于轻量化训练得到模型对待处理数据进行处理，得到对应的处理结果。其中，轻量化处理包含以下处理中的至少两种：对层集合中权重参数进行量化处理、减少层集合中权重参数数量以及对层集合中模型层之间的网络结构进行调整。

由于选取出的层集合权重参数的数据量小于原本的待处理模型，且模型运行时的计算量也大大减小，从而使得在保障模型性能的同时，对电子设备存储空间的占用和模型运行时对计算资源的占用均得以减小。

在第一方面的第一种可能的实现方式中，减少层集合中权重参数数量，包括：

减小层集合中包含的卷积核的尺寸，或者减少卷积核的数量。

通过对卷积核的尺寸和数量的缩减，可以更好地实现对层集合的轻量化操作。

在第一方面的第二种可能的实现方式中，作为第一种可能实现方式中对第一层集合轻量化的一种可选方式，包括：

基于深度可分离卷积技术对第一层集合进行网络结构优化。

通过深度可分离卷积技术对第一层集合进行网络结构优化，可以降低第一层集合中模型层的网络结构冗余度，使得第一层集合中权重参数数量和运算量得以降低。

在第一方面的第三种可能的实现方式中，在对第二层集合进行权重参数迭代训练之前，还包括：

获取每个第二层集合对应的预设激活概率，其中，预设激活概率与第二层集合中权重参数占用的字节数呈负相关。

在每次对第二层集合进行训练的过程中，包括：

根据对应的预设激活概率，选取所需激活的第二层集合，并对选取出的第二层集合进行权重参数更新。

通过设置激活概率的方式，实现对各个第二层集合训练的控制，以保证低精度权重参数的第二层集合可以得到充分的训练，使得整体模型训练效果较佳。