[发明专利]基于人工智能的文本纠错方法、装置、电子设备及介质

说明书

本发明涉及人工智能技术领域，提供一种基于人工智能的文本纠错方法、装置、电子设备及介质，所述方法包括：响应于接收的文本纠错请求，获取第一训练集；对第一训练集中的文本进行预处理，得到第二训练集；采用预设的构建规则对第二训练集中的文本进行构建，得到纠错文本集；基于纠错文本集对预训练模型BERT进行参数微调，得到目标纠错模型；响应于接收的纠错文本，将纠错文本输入至目标纠错模型中，获得纠错后目标文本。本发明采用预设的构建规则构建纠错文本集，解决了数据匮乏的问题，同时基于纠错文本集对预训练模型BERT进行参数微调，降低了目标纠错模型的损失和过拟合程度，提高了目标纠错模型的纠错准确率。

技术领域

本发明涉及人工智能技术领域，具体涉及一种基于人工智能的文本纠错方法、装置、电子设备及介质。

背景技术

随着越来越多的自媒体新闻的大量涌入，用户通过发表帖子、评论等手段表达内心的观点，在此过程中会产生大量的文本数据，而文本数据中通常蕴含着错别字、中文繁简体混杂、重复标点等错误的文本信息，因此文本纠错技术在日常生活中起着关键作用。

现有的文本纠错模型面临这两大难题：首先是数据匮乏，当前语言模型在训练过程中往往需要大量的数据，而通常中文的文本纠错数据需要专业的人员进行标注，浪费大量的人力物力，纠错效率及准确率低；其次是过拟合问题，因数据源的缺少，而模型复杂度又不断增加导致纠错模型的过拟合问题难以解决。

发明内容

鉴于以上内容，有必要提出一种基于人工智能的文本纠错方法、装置、电子设备及介质，采用预设的构建规则构建纠错文本集，解决了数据匮乏的问题，同时基于纠错文本集对预训练模型BERT进行参数微调，降低了目标纠错模型的损失和过拟合程度，提高了目标纠错模型的纠错准确率。

本发明的第一方面提供一种基于人工智能的文本纠错方法，所述方法包括：

响应于接收的文本纠错请求，获取第一训练集；

对所述第一训练集中的文本进行预处理，得到第二训练集；

采用预设的构建规则对所述第二训练集中的文本进行构建，得到纠错文本集；

基于所述纠错文本集对预训练模型BERT进行参数微调，得到目标纠错模型；

响应于接收的纠错文本，将所述纠错文本输入至所述目标纠错模型中，获得纠错后目标文本。

可选地，所述采用预设的构建规则对所述第二训练集中的文本进行构建，得到纠错文本集包括：

获取所述第二训练集中的每条文本；

基于预设的构建规则对每条文本进行构建，得到纠错文本集，其中，所述预设的构建规则包括以下一种或者多种的组合：形似字替换规则、相似拼音字替换规则、随机选取目标字替换规则及不替换规则。

可选地，所述基于预设的构建规则对每条文本进行构建，得到纠错文本集包括：

基于所述形似字替换规则对每条文本进行构建，得到对应文本的纠错文本，包括，识别每条文本中是否存在形似字，若所述每条文本中存在形似字，将对应文本中的形似字替换为第一目标字，得到对应文本的纠错文本；和/或

基于所述相似拼音字替换规则对每条文本进行构建，得到对应文本的纠错文本，包括，识别每条文本中是否存在相似拼音字，若所述每条文本中存在相似拼音字，将对应文本中的相似拼音字替换为第二目标字，得到对应文本的纠错文本；和/或

基于所述随机选取目标字替换规则对每条文本进行构建，得到对应文本的纠错文本，包括，从每条文本中随机选取一个第三目标字，将所述第三目标字替换为预设掩码标记，得到对应文本的纠错文本；和/或

基于所述不替换规则对每条文本进行构建，得到对应文本的纠错文本，包括，获取每条文本的准确文本，确定为对应文本的纠错文本。