[发明专利]一种深度神经网络推理方法及计算设备

说明书

本申请涉及神经网络领域，具体涉及一种深度神经网络推理方法及计算设备。该方法包括接收向第一深度神经网络模型中的运算层输入的输入特征；确定运算层对应的索引值；根据运算层的索引值确定运算层的码本；将输入特征按照预设的第一量化规则进行量化；在运算层中，根据量化后的输入特征查询码本中对应量化后的输入特征的码字完成运算层对输入特征的运算。本申请实施例中，会将每个量化模型参数和每个量化输入特征进行乘积得到码本，在进行计算时，只要将实际输入的输入特征量化成量化输入特征，直接查码本获得该量化输入特征的浮点乘结果，从而快速完成运算，由于无需实质的浮点乘运算，能够大大加速深度神经网络的推理速度。

技术领域

本申请涉及神经网络领域，具体涉及一种深度神经网络推理方法及计算设备。

背景技术

随着计算机和信息技术的迅猛发展和普及应用，行业应用数据呈爆炸性增长。动辄达到数万亿字节(Terabyte，简称TB)甚至数千万亿字节(petabyte，简称PB)规模的行业、企业大数据往往隐含着很多在小数据量时不具备的深度知识和价值，大规模机器学习(包含深度学习)引领的数据分析是将大数据转换成有用知识的关键技术。深度神经网络作为引领当前人工智能(Artificial Intelligence，简称AI)发展方向的关键技术，该技术在人脸识别、图像分类、目标检测、视频分析、语音识别、机器翻译等许多领域都取得了显著的效果，深度神经网络正在迅速被各互联网厂商所采用用于无人驾驶、语音助手、同声翻译等领域。

深度神经网络是一种包含多层隐层的机器学习模型，其理论上可以模拟任何非线性复杂模型，深度神经网络通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。深度神经网络推理过程中，每个隐层都包含大量的浮点计算，浮点计算规模可达百亿规模以上，深度神经网络的推理速度较慢,目前深度神经网络的推理速度与真实场景的诉求相差甚远，无法满足一些实际场景的需求，如无人驾驶等。

目前的一些对深度神经网络推理的加速方式的加速有限，例如，利用深度神经网络模型参数冗余对模型进行量化，即将模型参数进行量化，减少一部分计算量，但是该方式仅基于参数量化压缩深度神经网络模型较小，且该方法推理加速效果一般，仍旧难以满足如无人驾驶等实际场景的推理速度的需求。

发明内容

本申请实施例提供了一种深度神经网络推理方法及计算设备来解决目前的深度神经网络的加速效果难以满足如无人驾驶等实际场景的推理速度的需求的问题。

本申请实施例的第一方面提供一种深度神经网络推理方法，该方法中，第一深度神经网络模型会接收到向第一深度神经网络模型的运算层输入的输入特征，接着会确定输入了输入特征的运算层的索引值，该索引值能够对应码本，且一个索引值对应一个运算层的码本，该码本实际上是由多个码字组成的集合，单个码字的构成可以是单个量化模型参数与单个量化输入特征的乘积，从而运算层的每个量化模型参数分别与所述运算层的每个量化输入特征的乘积得到的码字的集合为所述运算层的码本，其中，每个量化模型参数为将第二深度神经网络模型的模型参数按照预设的第二量化规则进行量化得到，而每个量化输入特征为将所述第二深度神经网络模型对应所述运算层的输入特征按照所述预设的第一量化规则进行量化得到，此外，第一深度神经网络模型为根据所述每个量化模型参数和所述每个量化输入特征对所述第二深度神经网络模型重训练得到；在确定索引值后，便会根据索引值确定出码本，接着将输入特征按照预设的第一规则进行量化，以满足第一深度神经网络模型的输入特征的要求，最后，在具体的运算层中，很据量化后的输入特征查询码本中对应这些量化后的输入特征的码字，即可完成该运算层对输入特征的运算。