[发明专利]基于注意力模型的语言输入关联性检测方法

摘要

一种基于注意力模型的语言输入关联性检测方法，通过采集训练语言模型所需的训练语料并进行预处理，并对语料中的每个词序列数据进行标注；然后使用标注后的训练序列对语言模型中的循环神经网络进行训练，再采用训练语料中所有数据集合对更新后的语言模型进行训练，当所得到的预测词的概率分布在验证集上是收敛时语言模型训练完成；最后使用训练后的语言模型对输入句子进行评分，从而得到词之间的关系。本发明采用基于注意力(attention)的方式去自动提取预测词与它们的相关关系。同时，在训练词向量时尝试引入语法和语义的信息，让词向量能够隐含更丰富的信息。通过这些技术期望可以提升语言模型的性能。

主权项

一种基于注意力模型的语言输入关联性检测方法，其特征在于，包括：步骤S1：采集训练语言模型所需的训练语料并进行预处理；步骤S2：对语料中的每个词序列数据进行标注；步骤S3：使用标注后的训练序列对语言模型中的循环神经网络进行训练，即以梯度回传的方式或批量随机梯度下降方式对语言模型中的循环神经网络的参数进行更新；步骤S4：采用训练语料中所有数据集合对更新后的语言模型进行训练，当所得到的预测词的概率分布在验证集上是收敛时语言模型训练完成；步骤S5：使用训练后的语言模型对输入句子进行评分，从而得到词之间的关系。