[发明专利]数据处理方法、装置、电子设备以及存储介质

说明书

本公开提供了数据处理方法、装置、电子设备以及存储介质，涉及数据处理技术领域，尤其涉及人工智能、深度学习、模型推理优化等技术领域。具体实现方案为：从存储介质中读取待处理对象的激活矩阵，以及目标神经网络层的参数矩阵；采用至少一个内核从激活矩阵中分离出第一矩阵和第二矩阵，并从参数矩阵中分离出第三矩阵和第四矩阵；对第一矩阵和第三矩阵执行矩阵乘积操作，得到第一处理结果；对第二矩阵和第四矩阵执行矩阵乘积操作，得到第二处理结果；将第一处理结果和第二处理结果进行融合，得到目标神经网络层对激活矩阵的数据处理结果。本公开实施例可节约存储空间的同时，加速大模型的推理速度，以提高资源的利用率。

技术领域

本公开涉及数据处理技术领域，尤其涉及人工智能、深度学习、模型推理优化等技术领域。

背景技术

随着人工智能技术的发展，模型功能日益强大。随着功能的强大，神经网络模型的规模也日益增加。对大模型而言，模型量化能够降低对存储空间的占用，但是在推理阶段会影响模型的推理精度。因此，如何在尽可能少占用资源的情况下还能够适当的加速推理，成为模型应用的关键。

发明内容

本公开提供了数据处理方法、装置、电子设备以及存储介质。

根据本公开的一方面，提供了一种数据处理方法，包括：

从存储介质中读取待处理对象关于目标神经网络层的激活矩阵，以及，读取该目标神经网络层的参数矩阵；该激活矩阵的数值精度为第一精度；该参数矩阵的数值精度为第二精度；该第二精度低于该第一精度；

采用至少一个内核将该激活矩阵分离为第一矩阵和第二矩阵，并从该参数矩阵中获取与该第一矩阵对应的第三矩阵，以及与该第二矩阵对应的第四矩阵；其中，该第一矩阵采用该第一精度，该第二矩阵采用该第二精度，该第一矩阵基于该激活矩阵中的非离群通道构建，该第二矩阵基于该激活矩阵中的离群通道构建；

对该第一矩阵和该第三矩阵执行矩阵乘积操作，得到第一处理结果；以及，

对该第二矩阵和该第四矩阵执行矩阵乘积操作，得到第二处理结果；

将该第一处理结果和该第二处理结果进行融合，得到该目标神经网络层对该激活矩阵的数据处理结果。

根据本公开的另一方面，提供了一种数据处理装置，包括：

读取模块，用于从存储介质中读取待处理对象关于目标神经网络层的激活矩阵，以及，读取该目标神经网络层的参数矩阵；该激活矩阵的数值精度为第一精度；该参数矩阵的数值精度为第二精度；该第二精度低于该第一精度；

拆分模块，用于采用至少一个内核将该激活矩阵分离为第一矩阵和第二矩阵，并从该参数矩阵中获取与该第一矩阵对应的第三矩阵，以及与该第二矩阵对应的第四矩阵；其中，该第一矩阵采用该第一精度，该第二矩阵采用该第二精度，该第一矩阵基于该激活矩阵中的非离群通道构建，该第二矩阵基于该激活矩阵中的离群通道构建；

第一运算模块，用于对该第一矩阵和该第三矩阵执行矩阵乘积操作，得到第一处理结果；以及，

第二运算模块，用于对该第二矩阵和该第四矩阵执行矩阵乘积操作，得到第二处理结果；

融合模块，用于将该第一处理结果和该第二处理结果进行融合，得到该目标神经网络层对该激活矩阵的数据处理结果。

根据本公开的另一方面，提供了一种电子设备，包括：

至少一个处理器；以及

与该至少一个处理器通信连接的存储器；其中，

该存储器存储有可被该至少一个处理器执行的指令，该指令被该至少一个处理器执行，以使该至少一个处理器能够执行本公开中任一实施例的数据处理方法。