[发明专利]一种基于哈希学习的问答系统构建方法

权利要求书

1.一种基于哈希学习的问答系统构建方法，其特征在于，具体包括以下步骤：

1)当有和问答系统应用场景相关的公开问答数据集或自己标注的问答数据集时，直接使用该数据集训练模型，当缺少训练数据时，从互联网数据中构造问答训练集；

2)根据问答训练集，构建并训练问答系统网络模型；

3)通过答案收集算法收集答案并构建答案知识库；

4)使用问答系统网络模型计算答案知识库中答案的二值矩阵表示，建立答案二值矩阵表示数据库；

5)对于问答系统接收到的问题，使用问答系统网络模型计算问题编码，然后问答系统网络模型根据问题编码和答案二值矩阵表示计算问题和答案的匹配程度，再基于匹配程度对答案进行排序；

6)当答案知识库中没有合适的答案时，答案收集算法根据问题重新收集答案，然后使用问答系统网络模型计算其二值矩阵表示，更新到答案知识库和答案二值矩阵表示数据库中；

7)根据答案排序的结果和系统要求做出响应；

所述步骤1)中，如果存在和问答系统应用场景相关的公开问答数据集或自己标注的问答数据集时，直接使用该数据集训练模型；当不存在标注问答训练集时，首先收集互联网上相关领域的问题集，通过文本分类技术对问题集进行筛选，然后使用阅读理解技术生成问题的答案，经过后处理生成问答训练集；

所述步骤2)中，所构造的问答系统网络模型使用预训练自注意力网络模型提取问题和答案的特征表示，预训练自注意力网络模型使用两个预训练语言模型编码器分别对问题和答案进行编码；在问题编码器和答案编码器之后分别添加一层全连接层，全连接层可以是固定参数的单位阵，也可以是可学习的参数矩阵，全连接层的输出是问题和答案的实值矩阵表示；在答案全连接层后添加一层答案哈希层，答案哈希层的输出是答案的二值矩阵表示；问题全连接层后不添加问题哈希层；在问题全连接层和答案哈希层之后，分别添加一层交互层分别计算问题和答案的向量表示；在问题和答案的交互层之后，添加一层相似度层计算问题和答案的相似度；

在问答系统网络模型的训练过程中，其损失函数由两部分构成，使用三元组hinge损失为问题和答案的相似度建模，使用范数损失为答案的二值矩阵表示建模；在求解优化问题时，使用梯度反向传播算法优化问答系统网络模型的参数；

问答系统网络模型的损失函数由两部分组成：

1)为问题和答案的相似度建模的三元组hinge损失其中q_i,p_i,n_i分别表示问题、正确答案、错误答案的向量表示；

2)为答案的二值矩阵表示建模的范数损失其中分别表示正确答案的实值矩阵表示、正确答案的二值矩阵表示、错误答案的实值矩阵表示、错误答案的二值矩阵表示；

结合以上两部分损失，可以得到如下优化问题：

其中β是权重系数，N是批处理量的大小，l是句子的长度，r是二值编码的长度；在求解以上优化问题时，对目标函数(4)进行求导，使用梯度反向传播算法优化问答系统网络模型的参数。

2.如权利要求1所述的基于哈希学习的问答系统构建方法，其特征在于，所述步骤3)中，根据问答系统的应用场景需要，收集相应领域的知识，以候选答案的形式建立答案知识库。

3.如权利要求1所述的基于哈希学习的问答系统构建方法，其特征在于，所述步骤4)中，将答案知识库中的答案作为问答系统网络模型中答案编码器的输入，再将编码器的输出输入到全连接层，计算并输出对应的实值矩阵表示；将实值矩阵表示输入到答案哈希层，计算并输出对应的二值矩阵表示；将二值矩阵表示与答案一一对应存储在内存中，建立答案二值矩阵表示数据库。

4.如权利要求1所述的基于哈希学习的问答系统构建方法，其特征在于，所述步骤5)中，将接收到的问题作为问答系统网络模型问题编码器的输入，再将编码器的输出输入到全连接层，计算并输出对应的实值矩阵表示；然后将得到的问题矩阵表示和数据库中答案的二值矩阵表示分别输入到交互层中，计算并输出问题和答案的向量表示；将问题和答案的向量表示输入到相似度层，计算并输出问题和答案的相似度；根据问题和答案的相似度对答案知识库中所有的答案进行降序排序。