[发明专利]一种深度神经网络训练方法及装置

说明书

本发明公开了一种深度神经网络训练方法及装置，该方法包括：通过建立深度神经网络框架；获取全精度浮点数格式的待处理数据；利用所述全精度浮点数格式的待处理数据对所述深度神经网络框架进行预热训练；将所述全精度浮点数据格式的待处理数据转化为Posit格式数据；利用所述Posit格式数据对所述预热训练后的深度神经网络框架进行训练。与现有技术相比，本实施例通过采用全精度浮点数格式的待处理数据对深度神经网络框架进行预热训练，再将全精度浮点数格式的待处理数据转化为Posit格式数据，利用Posit格式数据对预热训练后的深度神经网络框架进行训练，能够减少存储资源的占用，缩短训练时间，提高训练效率。

技术领域

本发明涉及神经网络技术领域，特别涉及深度神经网络训练方法及装置。

背景技术

深度学习是机器学习研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。深度学习是无监督学习的一种。深度学习的概念源于人工神经网络的研究，比如含多隐层的多层感知器就是一种深度学习结构。深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。随着深度学习技术的快速发展，深度卷积神经网络在图像分类，语音识别等领域中发挥着重要的作用。然而，深度神经网络模型在发展过程中变得越来越庞大复杂，无论是训练或推理过程都对计算资源和存储空间提出了较高的要求，这对于模型的高效部署是巨大的挑战。目前，深度神经网络训练的主要是利用浮点数格式的数据来完成，采用全精度32-bit浮点数运算单元来训练深度神经网络，不仅占用大量的存储资源，而且训练时间长，效率较低。

发明内容

本发明的发明目的在于提供一种深度神经网络训练方法及装置，以解决现有技术中采用浮点数运算单元来训练深度神经网络，不仅占用大量的存储资源，而且训练时间长，效率较低的问题。

一方面，本发明提供了一种深度神经网络训练方法，所述方法包括：建立深度神经网络框架；获取全精度浮点数格式的待处理数据；利用所述全精度浮点数格式的待处理数据对所述深度神经网络框架进行预热训练；将所述全精度浮点数据格式的待处理数据转化为Posit格式数据；利用所述Posit格式数据对所述预热训练后的深度神经网络框架进行训练。

结合一方面，在第一种可能的实现方式中，将所述全精度浮点数据格式的待处理数据转化为Posit格式数据包括：根据位宽n及指数位位宽es计算所述全精度浮点数据格式的待处理数据的钳制输入值；提取所述钳制输入值的符号、指数值以及尾数值；根据所述钳制输入值的符号、指数值以及尾数值计算所述Posit格式数据的符号、组织值、指数值以及尾数值；根据所述Posit格式数据的符号、组织值、指数值以及尾数值生成Posit格式数据。

结合第一种可能的实现方式中，在第二种可能的实现方式中，将所述全精度浮点数据格式的待处理数据转化为Posit格式数据还包括：

根据所述预热训练后的深度神经网络框架的数据分布状态获取所述指数位位宽es。

结合第一种可能的实现方式中，在第三种可能的实现方式中，根据位宽n及指数位位宽es计算所述全精度浮点数据格式的待处理数据的钳制输入值包括：根据所述指数位位宽es计算useed值；根据所述useed值和所述位宽n计算最大正数和最小整数；根据所述最大正数和最小整数计算所述钳制输入值。

结合第三种可能的实现方式中，在第四种可能的实现方式中，根据所述钳制输入值的符号、指数值以及尾数值计算所述Posit格式数据的符号、组织值、指数值以及尾数值包括：将所述钳制输入值的符号作为所述Posit格式数据的符号；计算所述Posit格式数据的组织值；根据所述Posit格式数据的组织值计算组织位位宽、指数位位宽以及尾数位位宽；根据所述指数位位宽和所述尾数位位宽计算所述Posit格式数据的指数值及尾数值。