[发明专利]一种基于强化学习的问句和答案句相关度的计算方法

说明书

本发明公开了一种基于强化学习的问句和答案句相关度的计算方法，其包括：获得平行语料；通过神经网络框架训练平行语料，以得到相关度计算模型；之后使用该模型为候选答案句计算其与问句的相关度值，由此选取最恰当的答案。通过本发明，可以简单方便地实现问答句相关度的计算，并提高答案选取的准确性。

技术领域

本发明涉及问答系统(Question Answering,QA)及强化学习(ReinforcementLearning,RL)的技术领域，尤其是一种基于强化学习的问句和答案句相关度的计算方法。

背景技术

信息时代的到来与信息技术的飞速发展使得问答系统受到了广泛的关注与应用。问答系统旨在依据其所具备的知识信息，尝试回答用户提出的新的问题。国内外常见的社区问答网站，如Answers.com，YAHOO！ANSWERS和百度知道等，已经积累了丰富多样的问句和答案句语料。问答系统中最主要的问题，便是如何在这些语料中找到与用户所提出问题最相关的问句答案对(Question Answer Pair)。最直接的方法便是在语料中寻找与用户问题最相似的问句，并将该问句的答案返回给用户，由此衍生出了很多问句间相似度的计算方法。这样做的好处是简单、快捷；然而，由于答案句没有经过分析和处理，其中可能包含未能被检查出来的无关信息和冗余信息，用户可能不甚满意。继而，研究内容开始围绕着计算用户问句与知识库中问答对之间的相关度展开，特别地，如何通过较为精确地评价答案句是否能够回答用户问句，即计算问句和答案句之间的相关度得分，成为了研究热点。

随着神经网络和深度学习模型在各大领域中崭露锋芒，国内外诸多学者纷纷开始利用这一技术解决上述问题，并在相关的研究中发表了许多论文和期刊。 Bingning Wang等人和Di Wang等人就利用长短期记忆(Long-Short Term Memory, LSTM)网络，结合注意力(Attention)机制对问句和答案句之间的相关性进行建模。Seunghyun Yoon等人则是将之看做是对答案的排序问题，通过多层循环神经网络(Hierarchical Recurrent NeuralNetworks)和潜在主题聚类(Latent Topic Clustering)对问句和答案句进行联合表示，并在模型训练的过程中使用了 pairwise的损失函数，取得了不错的效果。

这些方法都直接对整个问句与整个答案句进行处理，因此得到的句子信息局限在了整个句子层面，而句子中的无关信息和冗余信息没有被很好地过滤和处理，会影响到相关度计算的准确性和系统的性能。此外，模型所使用的pairwise 损失函数计算的是每两个结果之间的误差，不能很好地反映整个排序结果的误差，具体体现在：(1).排名高的答案应该比排名低的答案更加重要，因此排名高的答案出现错误时产生的损失应该比排名低的答案出现错误时产生的损失更加高，而pairwise损失函数则赋予了所有错误一样的权重；(2).使用pairwise损失函数时，构造的答案对的数量会随着相关答案集规模的增大而显著增加，因而这部分数据产生的损失在整体损失中占了很大部分的比例，由此训练结果会偏向于相关答案集规模大的问题。

发明内容

针对上述不足，本发明的目的是提出一种基于强化学习的问句和答案句相关度的计算方法，通过引入强化学习这一机制，使得模型能够有选择性地对句子进行表示。具体地说，在传统神经网络模型的基础上，加入了强化学习的部分，在对句子进行表示时，对句子中的词进行筛选操作。为此，定义行为(Action) 空间是{保留，删除}，分别表示句子中的每个词需要/不需要用于整个句子的表示中。通过这种方式，可以将句子中的无关信息从句子的表示中除去，进而能够计算得到更精确的相关度值。此外，采用关注全局差异的listwise损失函数代替传统的pairwise损失函数，能够更加有效地对模型进行训练，使得得到的相关度值更加准确。

实现本发明目的的具体技术方案是：

一种基于强化学习的问句和答案句相关度的计算方法，该方法包括以下具体步骤：