[发明专利]一种基于注意力机制的自然语言语义表征方法

摘要

本发明公开了一种基于注意力机制的自然语言语义表征方法，通过引入多层注意力机制和位置关系矩阵于语义关系特征提取中，从而在自然语句的语言语义表征中获取更多的语义信息；这样充分结合了深度学习技术和注意力机制共享表示自然语言的多层语义特征和语义位置信息特征，使其融合语言语义特征在提升算法性能的同时提升语义的通用性，可以用于各种自然语言处理任务。

主权项

1.一种基于注意力机制的自然语言语义表征方法，其特征在于，包括以下步骤：(1)、自然语言预处理随机下载一条完整独立的自然语句，然后剔除自然语句中的特殊字符，再按空格将自然语句划分为多个单词的集合S＝{W₁,W₂,…,W_i,…,W_L}，W_i表示自然语句中的第i个单词；(2)、获取每个单词的词向量将每一个单词输入至Seq2Word模型，输出得到每个单词的词向量；其中，W_i的词向量表示为w_i；(3)、获取每个单词的字符向量将每一个单词输入至Word2Char模型，输出得到每个单词的字符向量；其中，W_i的字符向量表示为c_i；(4)、将自然语句中每个单词的词向量和字符向量拼接成该单词的语义向量；其中，W_i的词向量w_i和字符向量c_i拼接成的语义向量表示为e_i；(5)、将自然语句中每个单词的语义向量拼接成该自然句子的向量化序列x＝{e₁,e₂,…,e_i,…,e_L}；(6)、根据自然语句中单词的相对位置，利用自然语句的向量化序列构造位置关系矩阵mask_dis＝Martix(|e_i‑e_j|)，其中，|e_i‑e_j|表示第i个单词与第j个单词之间的绝对距离，Martix()表示根据绝对距离构造位置关系矩阵；(7)、对自然语句的位置关系矩阵mask_dis进行离差标准化处理；其中，max表示自然然语句中任意两个单词之间的绝对距离的最大值，min表示自然语句中任意两个单词之间的绝对距离的最小值；(8)、将自然语句的向量化序列x输入至3层的双向长短时间序列网络，输出该自然语句的状态h；(9)、构造基于距离关系的多层注意力机制模型；其中，τ＝1,2,…,λ，λ表示多层注意力机制模型层数，a_τ表示自然语句在多层注意力机制模型中第τ层的注意力矩阵，α_τ，β_τ，为自然语句在多层注意力机制模型中第τ层的训练参数，σ为激活函数，T表示转置；(10)、利用多层注意力机制模型获取自然语句的注意力矩阵将自然语句的状态h和自然语句的位置关系矩阵输入至多层注意力机制模型，然后不断调整训练参数，输出自然语句的注意力矩阵A＝[a₁,a₂,…,a_τ,…,a_λ]；(11)、自然语句的语言语义表征将自然语句的状态h与自然语句的注意力矩阵A进行点乘运算，得到自然语句固定长度的语言语义表征V；V＝[v₁,v₂,…,v_τ,…,v_λ]其中，⊙表示点乘运算。