[发明专利]一种双注意力训练序列生成方法、装置及可读存储介质

说明书

本发明提供的一种双注意力训练序列生成方法、装置及可读存储介质，涉及计算机深度学习领域。本发明通过构建面向输入文本中字符的重要度和输入文本中字符对应槽值关联度的双注意力机制模型来生成对应输入文本的双注意力训练序列，槽值关联度根据槽值的query释义矩阵作为先验知识进行衡量，能使训练序列同时具备重要度特征和关联度特征；本发明通过Bi‑lstm层使训练序列前后关联，并计算其权重占比，从而得到输入文本中字符的重要度，将该训练序列作为训练数据能得到对重要信息关注度更好的模型；本发明通过双序列标注法减少了传统标注法所使用到的槽值标签数目，有助于训练模型的拟合和效率提升。

技术领域

本发明涉及计算机深度学习领域，尤其涉及一种双注意力训练序列生成方法、装置及可读存储介质。

背景技术

随着计算机领域的不断发展，各种基于机器学习的技术也在不断革新。

深度学习(deep learning)是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

在自然语言处理深度学习技术发挥着举足轻重的作用，通过深度学习技术对自然语言处理可以使机器完成相应的问答、记录、查询等操作，在现如今智能服务领域有着极其广阔的运用。

一方面，对于学习模型的构建能影响自然语言处理的能力，另一方面，学习模型的输入训练数据也对自然语言处理能力有着直接影响，在进行模型训练前，我们都需要对训练数据进行筛选，标注，预处理等操作，目的就是时输入的训练数据能训练出我们想要的模型。针对训练数据的处理便成为提高自然语言处理能力的关键所在。

现有技术通常采用IOBES对槽值序列进行标注，槽值标签种类过多，模型训练拟合较为困难，且未对槽值标签信息进行有效的利用，但采用IO、IOE1等:方案时又未能对各类标签进行有效的区分。

为此，申请号为：CN202011024360.7的发明申请提供了一种深度学习序列标注方法、装置及计算机可读存储介质；该申请利用初始化的embedding层将待处理文本的句子中的每个字进行预处理，获取所述待处理文本中的每个字的字向量；通过bi-lstm层对所述字向量进行处理，获取所述待处理文本的文本特征；通过softmax层对所述文本特征进行处理，获取所述文本特征的预测标注位置；通过loss层对所述文本特征的预测标注位置进行处理，完成所述待处理文本的序列标注。该申请在于提出了一种新的计算loss值的方法，提高在深度学习中序列标注的准确性，但是，槽值标签种类过多依旧过多，且训练序列只包含了一种注意力信息。

因此，有必要提供一种新的，能有效利用槽值，且能减少槽值标签种类的训练序列生成方法来解决上述技术问题。

发明内容

为解决上述技术问题，本发明提供的一种双注意力训练序列生成方法，其特征在于，通过构建面向输入文本中字符的重要度和输入文本中字符对应槽值关联度的双注意力机制模型来生成对应输入文本的双注意力训练序列，所述双注意力训练序列用于供面向语言理解的深度学习模型进行训练学习；

所述双注意力机制模型用于包括对输入文本的向量转换，对输入文本本向量的维度转换，对输入文本矩阵的关联转换和对输入文本中字符的重要度、输入文本中字符对应槽值关联度进行状态关联；

所述双注意力机制模型包括字符-隐状态路径、槽值-query值路径和状态关联路径；

通过字符-隐状态路径得到输入文本的关联隐状态矩阵，所述关联隐状态矩阵用于衡量输入文本中各字符的重要度；

通过槽值-query值路径得到槽值序列的释义矩阵，释义矩阵用于衡量输入文本中字符对应槽值关联度；