[发明专利]一种面向中文人名识别系统的评测方法及评测系统

摘要

一种面向中文人名识别系统的评测方法及评测系统自然语言处理领域。评测方法包括：评测文件生成步骤，从句子库抽取指定数目的句子，并对句子中的每个人名利用人名库中的人名进行替换产生评测文件；记录数据步骤，记录句子在评测文件中的行号、句子中的每个人名和人名在句子中的起始位置；识别步骤，利用待评测的中文人名识别系统对评测文件进行人名识别；判断步骤，根据预先设定的判断标准对识别结果和记录数据进行比较，判断人名识别系统是否正确识别出人名；评测指标计算步骤，根据判断步骤的判断结果形成评价中文人名识别系统的评测指标。本发明实现了中文人名识别系统评测的自动化，使不同识别系统有可比性；发现识别算法存在的问题。

主权项

1.一种面向中文人名识别系统的评测方法，其特征在于，包括以下步骤：评测文件生成步骤：从句子库抽取指定数目的句子，并对句子中的每个人名利用人名库中的人名进行替换产生评测文件；记录数据步骤：在生成评测文件的过程中，记录句子在评测文件中的行号、句子中的每个人名及人名在句子中的起始位置；识别步骤：利用待评测的中文人名识别系统对评测文件进行人名识别，得到识别结果，识别结果包括句子在评测文件中的行号、识别出的人名及人名在句子中的起始位置；判断步骤：根据预先设定的判断标准对识别结果和记录数据进行比较，判断人名识别系统是否正确识别出句子中的人名；所述预先设定的判断标准如下：当且仅当识别结果中句子在评测文件中的行号、识别出的人名及人名在句子中的起始位置和记录数据中句子的行号、句子中的人名、人名在句子中的起始位置对应相等时，为一个正确识别出的人名；评测指标计算步骤：根据判断步骤的判断结果形成评价中文人名识别系统的评测指标；在所述评测指标计算步骤中的一次评测指标包括：指标一：指标二：对识别系统的评测指标包括：指标一：平均召回率，n次评测召回率的平均值；指标二：平均准确率，n次评测准确率的平均值；指标三：稳定性，通过n次评测准确率的方差来表示，方差小于等于一设定阈值0.01时，n取值范围为10≤n≤50，表明中文人名识别系统具有较高稳定性。