[发明专利]一种用于知识验证的真值发现方法及系统

权利要求书

1.一种用于知识验证的真值发现方法，其特征在于，包括：

对待测数据进行预处理，并利用EM算法对所述数据进行筛选，得到特征丰富的高质量数据；其中，数据集中包括若干个待测数据，不同的数据集具有不同的特征；

挑选若干所述高质量数据用于外部准确验证，将通过准确验证的高质量数据替换训练集中挑选数据真值作整体数据集；

通过原始训练集训练真值评估器，获得初步参数的评估器模型；

通过整体数据集训练已有初步参数的评估器模型，获得高质量评估器模型；

通过高质量评估器模型对获取的数据进行计算，得到数据的置信度；

根据数据置信度迭代更新信源的可信度；

计算数据的真值标签，输出数据最终的置信度及其真值标签和信源的可信度。

2.根据权利要求1所述的用于知识验证的真值发现方法，其特征在于，所述对获取的数据进行预处理，并利用EM算法对所述数据进行筛选，得到特征丰富的高质量数据，包括：

对获取的数据进行预处理，获取所有数据声明的置信度，声明的真值标签与信源的置信度；

利用EM算法对所述数据进行筛选，迭代优化，循环直到代价函数收敛时，得到特征丰富的高质量数据。

3.根据权利要求1所述的用于知识验证的真值发现方法，其特征在于，在所述计算数据的真值标签，输出数据最终的置信度及其真值标签和信源的可信度前，还包括：

判断终止条件是否满足，当终止条件不满足时，循环用高质量评估器模型对获取的数据进行计算，得到数据的置信度，并根据数据置信度迭代更新信源的可信度。

4.根据权利要求1所述的用于知识验证的真值发现方法，其特征在于，所述计算数据的真值标签，输出数据最终的置信度及其真值标签和信源的可信度，包括：利用整体数据的对数似然公式，重新计算真值评估，使用EM算法的E步骤和M步骤迭代更新模型的参数变量；

将待测数据放入迭代更新后的评估器模型，得到数据的真值标签。

5.一种用于知识验证的真值发现系统，其特征在于，包括：

高质量数据获取模块，用于对待测数据进行预处理，并利用EM算法对所述数据进行筛选，得到特征丰富的高质量数据；其中，数据集中包括若干个待测数据，不同的数据集具有不同的特征；

外部准确验证模块，用于挑选若干所述高质量数据用于外部准确验证，将通过准确验证的高质量数据替换训练集中挑选数据真值作整体数据集；

初步模型获取模块，用于通过原始训练集训练真值评估器，获得初步参数的评估器模型；

高质量模型获取模块，用于通过整体数据集训练已有初步参数的评估器模型，获得高质量评估器模型；

数据置信度获取模块，用于通过高质量评估器模型对获取的数据进行计算，得到数据的置信度；

信源可信度获取模块，用于根据数据置信度迭代更新信源的可信度；

输出模块，用于计算数据的真值标签，输出数据最终的置信度及其真值标签和信源的可信度。

6.根据权利要求5所述的用于知识验证的真值发现系统，其特征在于，所述高质量数据获取模块包括：

预处理模块，用于对获取的数据进行预处理，获取所有数据声明的置信度，声明的真值标签与信源的置信度；

算法计算模块，用于利用EM算法对所述数据进行筛选，迭代优化，循环直到代价函数收敛时，得到特征丰富的高质量数据。

7.根据权利要求5所述的用于知识验证的真值发现系统，其特征在于，还包括判断模块，用于在计算数据的真值标签，输出数据最终的置信度及其真值标签和信源的可信度前，判断终止条件是否满足，当终止条件不满足时，循环用高质量评估器模型对获取的数据进行计算，得到数据的置信度，并根据数据置信度迭代更新信源的可信度。

8.根据权利要求5所述的用于知识验证的真值发现系统，其特征在于，还包括真值标签获取模块，用于利用整体数据的对数似然公式，重新计算真值评估，使用EM算法的E步骤和M步骤迭代更新模型的参数变量，将待测数据放入迭代更新后的评估器模型，得到数据的真值标签。