[发明专利]一种基于假设性半监督学习的开放领域问答方法

权利要求书

1.一种基于假设性半监督学习的开放领域问答方法，其特征在于，包括以下步骤：

(1)使用信息检索技术从语料库中将与问题相关的文章抽取出来；

(2)假设给定问答训练集自带的文章是唯一的正标签，从语料库中抽取的所有文章都是负标签；

(3)构建深度学习模型，通过训练一个文章打分器来学习正标签文章的特征，同时训练一个阅读器以从文章中选择正确答案；

(4)进行文章相关性排序，将相关性高的前n个文章送入打分器内打分并根据分数重新标签；

(5)重复步骤3和步骤4，直到整个深度学习模型收敛；

(6)模型训练完毕，进行开放领域问答应用。

2.根据权利要求1所述的基于假设性半监督学习的开放领域问答方法，其特征在于，步骤(1)的具体步骤为：

将所有文章用词频-逆向文件频率加权的词袋来表示，并使用二维的n-gram模型对所有短语进行特征表达，设定每个问题匹配的文章数量后，使用倒排索引来匹配相关文章。

3.根据权利要求1所述的基于假设性半监督学习的开放领域问答方法，其特征在于，步骤(3)中，所述的文章打分器的训练过程为：

首先利用词向量Glove对所有的单词进行词嵌入，然后使用词性标注和实体命名识别获得文本的语法和语义信息，使用双向的长短时记忆网络对文本进行编码，并用一个矩阵来表达一篇文章，最后根据文章和问题的匹配度对文章进行打分，公式为：

s^k＝max(softmax(H^k*u^T)*H^k)

其中，H^k是第k篇文章P^k的表达矩阵，u^T是问题q的表达向量u的转置。

4.根据权利要求1所述的基于假设性半监督学习的开放领域问答方法，其特征在于，步骤(3)中，所述阅读器的训练过程为：

使用现有的知识库WordNet作为辅助工具，使用长短时记忆网络对文本进行编码，并引用注意力机制，得到文章和问题的注意力向量，最后使用非线性函数获得答案字符串首字符和末字符的概率分布：

P_start＝softmax(exp(HW_su))

P_end＝softmax(exp(HW_eu))

其中，H为文章第i个词的表达向量的整合矩阵，u为问题第j个词的表达向量的加权平均向量，W_s和W_e是两个训练参数，P_start和P_end为答案字符串首字符和末字符的概率分布；所述文章和问题的注意力向量的计算公式为：

其中，h_i为文章第i个词的表达向量，u_j为问题第j个词的表达向量，F是关于WordNet向量r的一个非线性函数，ReLU是激活函数，e_ij为文章第i个词和问题第j个词的注意力向量。

5.根据权利要求1所述的基于假设性半监督学习的开放领域问答方法，其特征在于，步骤(4)中，所述的相关性排序使用余弦距离函数，根据负标签的文章与原文章的距离进行排序。

6.根据权利要求1所述的基于假设性半监督学习的开放领域问答方法，其特征在于，步骤(6)中，在模型应用时，将文章打分器和阅读器的结果结合起来进行筛选，得到分数最高的答案。