[发明专利]序列动态阅读的自然语言语义匹配方法

权利要求书

1.一种序列动态阅读的自然语言语义匹配方法，其特征在于，包括：

对自然语言句子对中的每个字进行语义建模，获得每一自然语言句子对应的词级别语义表示向量；

根据每一词级别语义表示向量，通过堆叠神经网络得到相应的句子语义表示向量以及考虑了单词之间相互依赖的隐层表示向量；

利用句子语义表示向量以及考虑了单词之间相互依赖的隐层表示向量进行句子语义的动态理解，得到相应句子的动态理解表示向量；

将自然语言句子对的句子语义表示向量与句子的动态理解表示向量，各自进行整合，并根据整合结果实现自然语言句子对的语义关系分类。

2.根据权利要求1所述的一种序列动态阅读的自然语言语义匹配方法，其特征在于，所述对自然语言句子对中的每个字进行语义建模，获得每一自然语言句子对应的词级别语义表示向量的步骤包括：

所述的自然语言句子对包括两个自然语言句子，一个自然语言句子记为表示其由l_a个单词组成的文本，另一个自然语言句子记为表示其由l_b个单词组成的文本；其中,对应的分别表示自然语言句子s^a中的第i个单词、自然语言句子s^b中的第j个单词；

自然语言句子对s^a与s^b中的所有单词构成一个词典V，其大小用l^v表示；自然语言句子对s^a和s^b中的每一个单词都用一个独热向量表示，向量长度为词典V的大小，每个单词的独热向量中只有其在词典V中对应的索引位置为1，其他均为0；在此基础上，使用预训练好的词向量矩阵E得到每个单词的特征表示，也即预训练的词语义表示：

其中，对应于自然语言句子s^a中第i个单词、自然语言句子s^b中第j个单词的预训练的语义表示；

假设自然语言句子对为英文文本，则将所有的英文字母组成一个字符集的词典V^c，其大小为26；单词中的每个字母都用一个独热向量表示，向量长度为词典V^c的大小，每个字母的独热向量中只有其在词典V^c中对应的索引位置为1，其他均为0；在此基础上，使用一维卷积分别处理单词的字母序列，然后使用最大池化操作，从而最后得到每个单词字符级别的语义表示：

其中，E^c表示需要训练的字符的向量表示矩阵，Conv1D表示一维卷积操作，Maxpooling表示最大池化操作，对应的表示自然语言句子s^a中第i个单词的第i_c个字母的独热表示、自然语言句子s^b中第j个单词的第j_c个字母的独热表示；

再将从预训练中得到的单词的特征表示与相应的单词字符级别的语义表示拼接起来，然后使用两层的高速网络整合这些信息，从而最终得到自然语言句子中每个单词的语义表示向量：

其中，Highway(·)表示高速网络结构，a_i、b_j对应的表示自然语言句子s^a第i个单词的语义表示向量、自然语言句子s^b中第j个单词的语义表示向量。