[发明专利]一种数据处理方法及相关设备

说明书

本申请涉及人工智能领域，公开了一种数据处理方法，包括：获取包括目标网络层以及目标模块的transformer模型，通过transformer模型对待处理数据进行处理，以得到数据处理结果；其中，目标模块用于对目标网络层的特征图输出进行目标运算，以得到运算结果，并将运算结果与特征图输出进行融合，以得到更新后的特征图输出。本申请在transformer模型中插入了目标模块，将目标模块生成的运算结果与输入进行融合，增加了transformer模型中目标网络层输出的特征图中携带的信息，且由于目标模块本身的参数量以及运算时需要的算力开销很小，相当于在降低模型参数量和算力开销的前提下，提高了模型的数据处理精度。

技术领域

本申请涉及人工智能领域，尤其涉及一种数据处理方法及相关设备。

背景技术

人工智能(artificial intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。

随着人工智能技术的不断发展，让人机之间能够通过自然语言进行交互的自然语言人机交互系统变的越来越重要。人机之间能够通过自然语言进行交互，就需要系统能够识别出人类自然语言的具体含义。通常，系统通过采用对自然语言的句子进行关键信息提取来识别句子的具体含义。

transformer结构具有强大的语义表达能力，能捕捉文本长依赖关系。自被提出以来在以翻译为代表的一系列自然语言处理的任务上显著超越了之前的模型，基于transformer结构的预训练语言模型在问答系统,语音助手等领域也取得了非常好的效果。

transformer模型参数很多，对计算、功耗的需求高，因此通常可以对transformer模型进行剪枝等压缩处理，来得到较轻量化的transformer模型，然而压缩处理会使transformer模型的数据处理精度大幅度下降。

发明内容

第一方面，本申请提供了一种数据处理方法，所述方法包括：

获取transformer模型，所述transformer模型包括目标网络层以及目标模块；

其中，终端设备或者云侧服务器可以获取用于进行模型推理的transformer模型，transformer模型可以为训练好的transformer模型，例如transformer模型可以为预训练模型或者是经过模型微调后的模型；transformer模型可以包括目标网络层，其中，目标网络层可以为transformer层中的注意力层或者是前馈层；

其中，可以将目标模块插入到transformer模型中，以得到本申请实施例中的transformer模型；

获取待处理数据，通过所述transformer模型对所述待处理数据进行处理，以得到数据处理结果；其中，所述目标模块用于对所述目标网络层的特征图输出进行目标运算，以得到运算结果，并将所述运算结果与所述特征图输出进行融合，以得到更新后的所述特征图输出；所述目标运算为基于卷积的非线性运算；

其中，本申请实施例中目标模块的作用类似于ghost模块，一般来说，大部分线性运算都可以作为ghost模块中所采用的运算，但是在transformer模型中，单纯的线性操作对模型的性能提升帮助不大，因此，本申请实施例中在卷积运算的基础上引入了非线性运算；

其中，上述特征图输出可以理解为网络层输出的特征图(可以是网络层的最终输出，也可以是网络层的中间层输出)；例如目标网络层的特征图输出可以理解为目标网络层输出的特征图；

其中，待处理数据可以为文本数据；