[发明专利]一种基于强化学习的问句和答案句相关度的计算方法

摘要

本发明公开了一种基于强化学习的问句和答案句相关度的计算方法，其包括：获得平行语料；通过神经网络框架训练平行语料，以得到相关度计算模型；之后使用该模型为候选答案句计算其与问句的相关度值，由此选取最恰当的答案。通过本发明，可以简单方便地实现问答句相关度的计算，并提高答案选取的准确性。

主权项

1.一种基于强化学习的问句和答案句相关度的计算方法，其特征在于，该方法包括以下具体步骤：步骤1：从问答网站上爬取问答对数据，获得平行语料，即用于模型训练的源训练预料和用于检验效果的目标语料；步骤2：通过神经网络框架训练平行语料，得到相关度计算模型，具体包括：A1：对源训练语料中词序列的文本进行词向量编码，得到源训练语料中词的高纬度向量化表示；A2：将向量化表示的源训练语料作为输入，放入神经网络框架中，获取问句和答案句的相关度得分；其中，对问句的表示采用长短期记忆网络(LSTM)，将最后的隐含状态作为整个问句的表示；答案句表示所使用的网络则分为两个部分：演员(Actor)网络和评论家(Critic)网络；演员网络为长短期记忆网络，其目的是对答案句中每个词采样一个行为，行为空间是{保留、删除}；演员网络通过获取隐含状态序列，为每个状态选择一个行为，以得到真实的输入序列；评论家网络为长短期记忆网络，其目的是计算问句和答案句的相关度得分；评论家网络与演员网络共享参数，对演员网络输出的真实的输入序列编码，得到最终的隐含状态；设置线性层，得到问答句相关度得分；A3：构造listwise损失函数，并训练步骤1中平行语料得到相关度计算模型；首先对评论家网络进行预训练，接着对演员网络进行预训练，之后交替训练这两个网络，直到模型收敛或达到最大训练次数为止；步骤3：利用步骤2所得模型计算问句和每个候选答案句之间的相关度，选取相关度值最大的候选答案作为最终的回答。