[发明专利]一种基于自然语言实体关系的智能问答推理方法和系统

权利要求书

1.一种基于自然语言实体关系的智能问答推理方法，其特征在于，所述方法包括：

一、实体关系语料库构建阶段：

对语料库中每一条语句进行分词操作；从分词后的语句中提取实体词；

以提取到的实体词为基础，若两个实体出现在同一自然语句中，则该条自然语句作为连接这两个实体的边，构成实体关系；对语料库中实体连接关系进行汇总，形成实体关系语料库；

二、训练阶段：

构建智能推理深度学习模型，所述智能推理深度学习模型包括：BERT模型，用于对实体连接关系数据进行词向量编码，并对图结构本身进行信息的编码融合，这些数据转换为向量结构后发送至图神经网络；图神经网络，用于对向量结构进行学习，根据语言信息本身进行理解完成推理，并给出最终的答案；

使用Mask遮盖机制将文本随机遮蔽掉部分内容，通过文章上下文来预测被遮盖的词是什么，依次初步训练BERT模型相应的参数；从语料库中随机选取几万条连续的句子对和不连续的句子对组成两个集合，让BERT去识别预测那些句子对是连续的而那些不是，得到预训练好的BERT模型；采用训练样本集训练图神经网络，训练样本包括问题、答案以及若干反例；

三、应用阶段：

对输入的问题语句进行分词和实体词提取，得到问题实体词；从实体关系语料库中获得问题相关的实体连接关系图；以问题相关的实体连接关系图作为推理决策数据，输入智能推理深度学习模型进行推理，将评分最高的结点作为最终答案结点的输出。

2.如权利要求1所述的方法，其特征在于，所述从分词后的语句中提取实体词，包括：

S11：给定已经分好词的句子s＝{w₁,w₂,w₃,...,w_n}，按照n-gram算法收集可能出现的实体词(w₁),(w₂),...,(w_n)、(w₁w₂),(w₂w₃),...,(w_n-1w_n)、……、(w₁w₂w₃...w_n)；

S12：计算实体的识别概率为Pr(w)＝Anchor(w)/Freq(w)，若Pr(w)低于选取实体识别概率阈值γ_ed，则筛除，其中，w表示n-gram词，Freq(w)表示w在整个语料库中出现的频数；Anchor(w)表示w在整个语料库中以锚点形式出现的频数；

S13：计算句子中其他词汇w₂对实体的支持程度其中，Pr(e'|w₂)是先验概率，Entity(w)表示词汇w所有可能指向的实体集合，表示两个实体的关联度，N_p(w₂)表示所有包含实体w₂的页面的集合中元素个数；

S14：对于计算w_k与其可能的实体词的匹配契合程度分数为其中，w_k表示句子s提取到的锚点集合中的词汇，Entity(w_k)表示w_k对应的所有可能的实体集合；

S15：词汇最终对应的实体为其中，Entity(s)表示句子s最终对应的实体集合，γ₁表示约束实体的先验概率的阈值，γ₂表示筛选掉较低分数的阈值。

3.如权利要求2所述的方法，其特征在于，两个实体的关联度为

其中，N_p＝|∪_wPages(w)|表示语料库中所有页面的总数。

4.如权利要求2或3所述的方法，其特征在在于，对得到的实体进一步筛选，具体如下：

(1)分别计算实体识别概率Pr(e)以及所度量的实体与句子间的关联度R(e,s)：

(2)取二者的算术平均数作为最终筛选的指标

(3)若γ_s表示阈值，则筛去，得到实体集合