[发明专利]一种基于注意力机制的自然语言语义表征方法

权利要求书

1.一种基于注意力机制的自然语言语义表征方法，其特征在于，包括以下步骤：

(1)、自然语言预处理

随机下载一条完整独立的自然语句，然后剔除自然语句中的特殊字符，再按空格将自然语句划分为多个单词的集合S＝{W₁,W₂,…,W_i,…,W_L}，W_i表示自然语句中的第i个单词，L为单词总个数；

(2)、获取每个单词的词向量

将每一个单词输入至Seq2Word模型，输出得到每个单词的词向量；其中，W_i的词向量表示为w_i；

(3)、获取每个单词的字符向量

将每一个单词输入至Word2Char模型，输出得到每个单词的字符向量；其中，W_i的字符向量表示为c_i；

(4)、将自然语句中每个单词的词向量和字符向量拼接成该单词的语义向量；其中，W_i的词向量w_i和字符向量c_i拼接成的语义向量表示为e_i；

(5)、将自然语句中每个单词的语义向量拼接成该自然语句 的向量化序列x＝{e₁,e₂,…,e_i,…,e_L}；

(6)、根据自然语句中单词的相对位置，利用自然语句的向量化序列构造位置关系矩阵mask_dis＝Martix(|e_i-e_j|)，其中，|e_i-e_j|表示第i个单词与第j个单词之间的绝对距离，Martix()表示根据绝对距离构造位置关系矩阵；

(7)、对自然语句的位置关系矩阵mask_dis进行离差标准化处理；

其中，max表示自然语句中任意两个单词之间的绝对距离的最大值，min表示自然语句中任意两个单词之间的绝对距离的最小值；

(8)、将自然语句的向量化序列x输入至3层的双向长短时间序列网络，输出该自然语句的状态h；

(9)、构造基于距离关系的多层注意力机制模型；

其中，τ＝1,2,…,λ，λ表示多层注意力机制模型层数，a_τ表示自然语句在多层注意力机制模型中第τ层的注意力矩阵，α_τ，β_τ，为自然语句在多层注意力机制模型中第τ层的训练参数，σ为激活函数，T表示转置；

(10)、利用多层注意力机制模型获取自然语句的注意力矩阵

将自然语句的状态h和自然语句的位置关系矩阵输入至多层注意力机制模型，然后不断调整训练参数，输出自然语句的注意力矩阵A＝[a₁,a₂,…,a_τ,…,a_λ]；

(11)、自然语句的语言语义表征

将自然语句的状态h与自然语句的注意力矩阵A进行点乘运算，得到自然语句固定长度的语言语义表征V；

V＝[v₁,v₂,…,v_τ,…,v_λ]

其中，⊙表示点乘运算。

2.根据权利要求1所述的一种基于注意力机制的自然语言语义表征方法，其特征在于，所述单词的字符向量的获取方法为：

(2.1)、根据给定的字符字典把自然语句的单词W_i转换为字符列表，i＝1,2,…,L；

(2.2)、将字符列表输入至卷积神经网络，输出每个单词的字符特征；

(2.3)、将字符特征进行池化处理，得到每个单词的字符向量c_i。

3.根据权利要求1所述的一种基于注意力机制的自然语言语义表征方法，其特征在于，所述的满足：的大小在[0,1]之间。