[发明专利]生成文本纠错模型训练语料的方法、装置、设备及介质

说明书

本发明公开了一种生成文本纠错模型训练语料的方法、装置、设备及介质，用以提高文本纠错模型的训练语料的质量。由于本发明实施例可以针对预设的每个被掩码字词的属性信息，根据初始语料中包含的每个字词的属性信息及对应该属性信息的掩码比例，从初始语料中，选取该属性信息及该掩码比例的被掩码字词，并对选取的被掩码字词进行掩码，以生成训练语料。相比现有技术，从初始语料中随机选取被掩码字词的方式而言，本发明实施例中选取的被掩码字词为初始语料中相对比较容易出错或比较重要的字词等，所以本发明实施例的训练语料的质量较高，基于本发明实施例的训练语料训练完成的文本纠错模型进行文本纠错时，可以提高文本纠错的准确性和召回率。

技术领域

本发明涉及文本纠错技术领域，尤其涉及一种生成文本纠错模型训练语料的方法、装置、设备及介质。

背景技术

文本纠错是计算机自然语言处理中的一个重要研究方向，通过文本纠错可以对文本中由于人为等因素产生的错误(如错别字、错误语序等)进行纠正。现有在进行文本纠错时可以基于词典、专家规则或语言模型等来完成。其中，语言模型因为其含有语义特征，用语言模型进行文本纠错(为方便描述，将用于文本纠错的语言模型称为文本纠错模型)时，文本纠错的准确度及召回率相对较高。

然而，文本纠错模型的质量和稳定性是文本纠错的天花板。文本纠错的准确性和召回率依赖于文本纠错模型的训练方式，其中，用于训练文本纠错模型的训练语料的质量，将影响文本纠错模型进行文本纠错的准确性和召回率。

现有在生成文本纠错模型的训练语料时，通常从初始语料中随机选取一定比例的字词，对初始语料中该随机选取的字词进行掩码(为方便描述，称为随机掩码)，以生成训练语料。然而，在实际应用过程中，基于随机掩码生成的训练语料训练完成的文本纠错模型进行文本纠错时，文本纠错的准确性和召回率存在较大欠缺。因此，亟需一种可以提高文本纠错模型的训练语料的质量，以进一步提高文本纠错的准确性和召回率的技术方案。

发明内容

本发明实施例提供了一种生成文本纠错模型训练语料的方法、装置、设备及介质，用以提高文本纠错模型的训练语料的质量。

第一方面，本发明提供了一种生成文本纠错模型训练语料的方法，所述方法包括：

针对每个初始语料，确定该初始语料中包含的每个字词的属性信息，其中，所述属性信息包括词性、实体字词、易错字词、位置信息中的至少一种；

针对预设的每个被掩码字词的属性信息，根据该初始语料中包含的每个字词的属性信息及对应该属性信息的掩码比例，从该初始语料中，选取该属性信息及所述掩码比例的被掩码字词；

对选取的每个属性信息的被掩码字词进行掩码，生成训练语料。

在一种可能的实施方式中，所述对选取的每个属性信息的被掩码字词进行掩码包括：

针对选取的每个属性信息的被掩码字词，确定该被掩码字词的类型，所述类型包括：简体字、繁体字、数字、字母、特殊符号中的至少一种；采用与该被掩码字词的类型一致的掩码字词，对该被掩码字词进行掩码。

在一种可能的实施方式中，所述对选取的每个属性信息的被掩码字词进行掩码包括：

针对属性信息为易错字词的第一被掩码字词，根据保存的被掩码字词与掩码字词的对应关系，确定所述第一被掩码字词对应的目标掩码字词；

采用所述目标掩码字词，对所述第一被掩码字词进行掩码。

在一种可能的实施方式中，所述易错字词包括：拼音易错字词、字形易错字词中的至少一种。

在一种可能的实施方式中，确定被掩码字词与掩码字词的对应关系的过程包括：

若所述被掩码字词为拼音易错字词，确定所述被掩码字词与掩码字词的拼音相似度，若所述拼音相似度大于设定的第一阈值，保存所述被掩码字词与所述掩码字词的对应关系。