[发明专利]一种基于卷积神经网络模型的数据处理方法及装置

说明书

本发明提供一种基于卷积神经网络模型的数据处理方法及装置，上述方法包括以下步骤：通过对卷积神经网络模型中卷积层和/或全连接层的参数数据进行循环训练，获得预设格式离散数据；采用预设位数比特位对所述预设格式离散数据进行存储。上述技术方案中，通过将参数数据转换为离散数据，并根据预设位数比特位进行存储，实现了模型压缩存储，同时且转换后的模型没有精度损失；由于采用了预设格式离散数据，使得运算效率大大提升。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于卷积神经网络模型的数据处理方法及装置。

背景技术

当前人类处在第四次工业革命大潮，而人工智能正是引领这次大潮的关键技术，由于人工智能技术功能强大，应用场景广阔，未来有望给各行各业带来突破并渗透到生活的方方面面，因此，各国科学家、研究人员、企业、网络社区都在大力研究并推动人工智能的发展，而其中深度学习是最为流行的技术之一：深度学习一般采用神经网络模型，利用大量数据对神经网络模型进行训练，使得机器在某些方面学到接近人类甚至超过人类能力水平，比如图像识别、自然语言处理、下围棋、游戏对战、作画、读唇语等等。

深度学习在各个领域取得突破进展，将其应用到实际生活场景的需求也愈发强烈，尤其是在移动端与嵌入式系统的应用部署。但是，通常情况下深度学习的神经网络模型都非常大，从几十兆到上百兆不等，这样的文件大小，对于移动端来说，下载时耗费的流量是用户无法忍受的，而对于一些嵌入式系统，可能根本没有足够的存储空间来存储这么大的神经网络模型文件。不仅如此，在使用大型模型进行计算时，移动端与嵌入式系统或者无法提供其所需的计算资源，或者计算响应延迟太高而无法满足实际应用场景。因此，压缩模型尺寸，并同时提供提高计算效率便成为了当前要解决的难点。

现有技术中，模型压缩常用的方式是对模型进行剪枝(即将模型当中较小的参数或者满足某些条件的参数删除)，并对参数采取稀疏矩阵的方式进行存储，这样虽然达到了压缩效果，但模型的精度损失也不可避免；另外也有压缩方法采取对裁剪后的模型进行重新训练的方法，减小模型精度损失，但在利用模型推理预测时的运算性能却有明显下降。

因此，迫切需要提供一种基于卷积神经网络模型的数据处理方案来解决上述技术问题。

发明内容

本发明提供一种基于卷积神经网络模型的数据处理方法及装置，以解决上述问题。

本发明实施例提供一种基于卷积神经网络模型的数据处理方法，包括以下步骤：通过对卷积神经网络模型中卷积层和/或全连接层的参数数据进行循环训练，获得预设格式离散数据；

采用预设位数比特位对所述预设格式离散数据进行存储。

本发明实施例还提供一种基于卷积神经网络模型的数据处理装置，包括处理器，适于实现各指令；存储设备，适于存储多条指令，所述指令适于由所述处理器加载并执行；

通过对卷积神经网络模型中卷积层和/或全连接层的参数数据进行循环训练，获得预设格式离散数据；

采用预设位数比特位对所述预设格式离散数据进行存储。

本发明实施例提供的技术方案：通过对卷积神经网络模型中卷积层和/或全连接层的参数数据进行循环训练，获得预设格式离散数据；采用预设位数比特位对所述预设格式离散数据进行存储。

上述技术方案中，通过将参数数据转换为离散数据，并根据预设位数比特位进行存储，实现了模型压缩存储，同时且转换后的模型没有精度损失；由于采用了预设格式离散数据，使得运算效率大大提升。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1所示为本发明实施例1的低比特位存储数值与真实值对应关系表；