[发明专利]生成文本纠错模型训练语料的方法、装置、设备及介质

权利要求书

1.一种生成文本纠错模型训练语料的方法，其特征在于，所述方法包括：

针对每个初始语料，确定该初始语料中包含的每个字词的属性信息，其中，所述属性信息包括词性、实体字词、易错字词、位置信息中的至少一种；

针对预设的每个被掩码字词的属性信息，根据该初始语料中包含的每个字词的属性信息及对应该属性信息的掩码比例，从该初始语料中，选取该属性信息及所述掩码比例的被掩码字词；其中，该初始语料中包含的字词的每个类型之间的第一比例与被掩码字词的每个类型之间的第二比例相同；

对选取的每个属性信息的被掩码字词进行掩码，生成训练语料。

2.根据权利要求1所述的方法，其特征在于，所述对选取的每个属性信息的被掩码字词进行掩码包括：

针对选取的每个属性信息的被掩码字词，确定该被掩码字词的类型，所述类型包括：简体字、繁体字、数字、字母、特殊符号中的至少一种；采用与该被掩码字词的类型一致的掩码字词，对该被掩码字词进行掩码。

3.根据权利要求1所述的方法，其特征在于，所述对选取的每个属性信息的被掩码字词进行掩码包括：

针对属性信息为易错字词的第一被掩码字词，根据保存的被掩码字词与掩码字词的对应关系，确定所述第一被掩码字词对应的目标掩码字词；

采用所述目标掩码字词，对所述第一被掩码字词进行掩码。

4.根据权利要求1或3所述的方法，其特征在于，所述易错字词包括：拼音易错字词、字形易错字词中的至少一种。

5.根据权利要求4所述的方法，其特征在于，确定被掩码字词与掩码字词的对应关系的过程包括：

若所述被掩码字词为拼音易错字词，确定所述被掩码字词与掩码字词的拼音相似度，若所述拼音相似度大于设定的第一阈值，保存所述被掩码字词与所述掩码字词的对应关系。

6.根据权利要求4所述的方法，其特征在于，确定被掩码字词与掩码字词的对应关系的过程包括：

若所述被掩码字词为字形易错字词，确定所述被掩码字词与掩码字词的字形相似度，若所述字形相似度大于设定的第二阈值，保存所述被掩码字词与所述掩码字词的对应关系。

7.根据权利要求1所述的方法，其特征在于，所述词性包括：连接词、副词、形容词、动词中的至少一种。

8.根据权利要求1所述的方法，其特征在于，所述实体字词包括：时间、地点、名称、专业术语中的至少一种。

9.一种生成文本纠错模型训练语料的装置，其特征在于，所述装置包括：

确定模块，用于针对每个初始语料，确定该初始语料中包含的每个字词的属性信息，其中，所述属性信息包括词性、实体字词、易错字词、位置信息中的至少一种；

选取模块，用于针对预设的每个被掩码字词的属性信息，根据该初始语料中包含的每个字词的属性信息及对应该属性信息的掩码比例，从该初始语料中，选取该属性信息及所述掩码比例的被掩码字词；其中，该初始语料中包含的字词的每个类型之间的第一比例与被掩码字词的每个类型之间的第二比例相同；

掩码模块，用于对选取的每个属性信息的被掩码字词进行掩码，生成训练语料。

10.根据权利要求9所述的装置，其特征在于，所述掩码模块，具体用于针对选取的每个属性信息的被掩码字词，确定该被掩码字词的类型，所述类型包括：简体字、繁体字、数字、字母、特殊符号中的至少一种；采用与该被掩码字词的类型一致的掩码字词，对该被掩码字词进行掩码。

11.根据权利要求9所述的装置，其特征在于，所述掩码模块，具体用于针对属性信息为易错字词的第一被掩码字词，根据保存的被掩码字词与掩码字词的对应关系，确定所述第一被掩码字词对应的目标掩码字词；采用所述目标掩码字词，对所述第一被掩码字词进行掩码。