[发明专利]一种纠错评测方法和相关装置

权利要求书

1.一种纠错评测方法，其特征在于，所述方法包括：

获取待分类纠错数据，所述待分类纠错数据为针对输入字符串产生的不满足用户纠错需求的纠错数据；

通过分类器对所述待分类纠错数据进行分类，得到第一评测集和第二评测集；所述第一评测集中待分类纠错数据的纠错结果的可信度大于第一阈值，所述第二评测集中待分类纠错数据的纠错结果的可信度小于第二阈值，所述第一阈值大于所述第二阈值；所述分类器是根据纠错数据和纠错数据的特征数据训练得到的，所述特征数据用于反映所述纠错数据中纠错结果的可信度；

根据属于所述第一评测集或所述第二评测集的纠错数据数量计算纠错方案的目标评测指标，所述目标评测指标用于对所述纠错方案进行评测。

2.根据权利要求1所述的方法，其特征在于，所述待分类纠错数据为展示纠错候选项且用户针对所述输入字符串选定特征候选项的纠错数据，所述目标评测指标为纠错误纠率；所述特征候选项为与所述输入字符串匹配的候选项。

3.根据权利要求2所述的方法，其特征在于，所述根据属于所述第一评测集或所述第二评测集的纠错数据数量计算纠错方案的目标评测指标，包括：

通过所述纠错方案针对所述输入字符串产生纠错数据过程中，确定属于所述第二评测集的纠错数据的数量为第一数值，以及用户针对所述输入字符串选定特征候选项的纠错数据的数量为第二数值；

将所述第一数值与所述第二数值的比值作为所述纠错误纠率。

4.根据权利要求1所述的方法，其特征在于，所述待分类纠错数据为未展示纠错候选项且用户针对所述输入字符串输入退格符的纠错数据，所述目标评测指标为纠错覆盖率。

5.根据权利要求4所述的方法，其特征在于，所述根据属于所述第一评测集或所述第二评测集的纠错数据数量计算纠错方案的目标评测指标，包括：

通过所述纠错方案针对所述输入字符串产生纠错数据过程中，确定属于所述第一评测集的纠错数据的数量为第三数值、针对所述输入字符串展示纠错候选项且选定所述纠错候选项的纠错数据的数量为第四数值，以及未展示纠错候选项且用户针对所述输入字符串输入退格符的数量为第五数值；

将所述第三数值和所述第四数值之和与所述第四数值和所述第五数值之和的比值作为所述纠错覆盖率。

6.根据权利要求4所述的方法，其特征在于，所述退格符为用户在输入过程中输入的；或，所述退格符为所述输入字符串上屏后用户输入的。

7.根据权利要求1所述的方法，其特征在于，所述特征数据包括以下至少一种或多种的组合：

针对所述输入字符串的特征候选项的相关特征数据，所述特征候选项为与所述输入字符串匹配的候选项；

针对所述输入字符串的纠错候选项的相关特征数据；

反映所述用户输入习惯的用户特征数据。

8.一种纠错评测装置，其特征在于，所述装置包括获取单元、确定单元和计算单元：

所述获取单元，用于获取待分类纠错数据，所述待分类纠错数据为针对输入字符串产生的不满足用户纠错需求的纠错数据；

所述确定单元，用于通过分类器对所述待分类纠错数据进行分类，得到第一评测集和第二评测集；所述第一评测集中待分类纠错数据的纠错结果的可信度大于第一阈值，所述第二评测集中待分类纠错数据的纠错结果的可信度小于第二阈值，所述第一阈值大于所述第二阈值；所述分类器是根据纠错数据和纠错数据的特征数据训练得到的，所述特征数据用于反映所述纠错数据中纠错结果的可信度；

所述计算单元，用于根据属于所述第一评测集或所述第二评测集的纠错数据数量计算纠错方案的目标评测指标，所述目标评测指标用于对所述纠错方案进行评测。