[发明专利]一种基于知识图谱的智能问答方法的性能评价方法

权利要求书

1.一种针对基于知识图谱的智能问答方法的性能评价方法，其特征在于：所述智能问答方法包括以下步骤：

构建知识图谱；

接收用户问题，然后将用户问题和知识图谱内的问题集分别进行向量化；

将向量化后的用户问题与问题集中的问题分别进行相似度匹配，并得到多个语义相似度；

将多个语义相似度排序，选择问题集中语义相似度最高的问题为命中问题；

在知识图谱内检索出命中问题对应的命中答案，然后将命中答案利用深度学习中的编码-解码器和词嵌入形式形成完整的答案后输出；

所述性能评价方法包括如下步骤：

将用户问题及智能问答系统的判断结果转换为json字符串形式的问答对数据，然后将问答对数据存储到服务器中；

对存储到服务器中的问答对数据进行分类；

得到最终分类结果；

对最终分类结果进行计数求和；

得到将每一轮对话中的问题识别错误率FPR和服务满足率TPR；

建立DEA评价指标体系，然后将每一轮对话中的问题识别错误率FPR和服务满足率TPR纳入DEA评价指标体系中；

利用深度学习的后向传播方法对各指标的权重进行预测；

得到智能问答系统的综合性指标。

2.根据权利要求1所述的一种智能问答方法的性能评价方法，其特征在于：服务器采用ElasticSearch实现。

3.根据权利要求1所述的一种智能问答方法的性能评价方法，其特征在于：采用SVM分类算法对问答对数据进行分类，将问答对数据分为TP、FP、TN和FN四大类，其中TP表示问题识别和服务满足完全相同的个数；FP表示问题识别正确，但服务满足率差的个数；FN表示问题识别不正确，但服务满足率高的个数；TN表示问题识别不正确，且服务满足率差的个数；问题识别错误率服务满足率为

4.根据权利要求1所述的一种智能问答方法的性能评价方法，其特征在于：在建立DEA评价指标体系和对各指标的权重进行预测之间，还包括以下步骤：

对指标做预处理，分析对系统性能评价不具备参考意义的指标，然后剔除无参考意义的指标。

5.根据权利要求1所述的一种智能问答方法的性能评价方法，其特征在于：在得到最终分类结果前，还包括以下步骤：

对存储到服务器中的问答对数据进行人工校验。

6.根据权利要求1所述的一种智能问答方法的性能评价方法，其特征在于：利用加权平均和作为智能问答系统的综合性指标，其计算公式为其中，i为评价指标的个数，a_i为第i个评价指标权重，x为第i个评价指标的输入值。