[发明专利]一种文本错误检测方法、装置、电子设备及存储介质在审
申请号: | 202010558690.8 | 申请日: | 2020-06-18 |
公开(公告)号: | CN113822073A | 公开(公告)日: | 2021-12-21 |
发明(设计)人: | 王川 | 申请(专利权)人: | 上海流利说信息技术有限公司 |
主分类号: | G06F40/30 | 分类号: | G06F40/30;G06N3/04 |
代理公司: | 北京信远达知识产权代理有限公司 11304 | 代理人: | 范志平 |
地址: | 200090 上海市杨浦区长阳路*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 错误 检测 方法 装置 电子设备 存储 介质 | ||
1.一种文本错误检测方法,其特征在于,包括:
获取标准语句文本,并将所述标准语句文本作为第一样本添加至训练集;
对所述标准语句文本添加噪声得到错误语句文本,并将所述错误语句文本作为第二样本添加至所述训练集;
利用所述训练集中的样本对初始模型进行训练得到语义不明检测模型;
通过所述语义不明检测模型对待检测语句文本执行文本错误检测操作。
2.根据权利要求1所述文本错误检测方法,其特征在于,对所述标准语句文本添加噪声得到错误语句文本,包括:
基于预设概率P对所述标准语句文本中的单词执行加噪声操作,得到所述错误语句文本;
其中,在执行加噪声操作的过程中,单词被执行加噪声操作的概率为P,单词不被执行加噪声操作的概率为1-P。
3.根据权利要求2所述文本错误检测方法,其特征在于,所述加噪声操作包括单词添加操作、单词删除操作、单词替换操作和单词顺序交换操作中任一种操作或任几种操作的组合。
4.根据权利要求3所述文本错误检测方法,其特征在于,对所述标准语句文本中的单词执行所述单词替换操作包括:
从单词表中选取第一目标单词,并将所述标准语句文本中的单词替换为所述第一目标单词;其中,所述单词表包括所述标准语句文本中的所有单词。
5.根据权利要求3所述文本错误检测方法,其特征在于,在基于预设概率P对所述标准语句文本中的单词执行加噪声操作之前,还包括:
查询所述标准语句文本中的第二目标单词;
根据单词加噪声映射关系表对所述第二目标单词执行对应的加噪声操作;
相应的,基于预设概率P对所述标准语句文本中的单词执行加噪声操作包括:
基于所述预设概率P对所述标准语句文本中除了所述第二目标单词之外的单词执行加噪声操作。
6.根据权利要求2所述文本错误检测方法,其特征在于,在利用所述训练集中的样本对初始模型进行训练得到语义不明检测模型之后,还包括:
利用所述语义不明检测模型对已知分类的语句文本进行文本错误检测操作;
根据检测结果确定所述语义不明检测模型的分类准确度;
若所述分类准确度小于预设值,则调整预设概率P,并利用调整后的预设概率P重新执行加噪声操作,得到新的错误语句文本,以便利用所述标准语句文本和所述新的错误语句文本训练集中的样本对初始模型进行训练得到新的语义不明检测模型。
7.根据权利要求1所述文本错误检测方法,其特征在于,对所述标准语句文本添加噪声得到错误语句文本,包括:
将所述标准语句以句子为单位划分为N个语句组;
基于预设概率Pi对第i个语句组中的单词执行加噪声操作,得到所述错误语句文本;其中,0<i≤N,在对第i个语句组中的单词执行加噪声操作的过程中,单词被执行加噪声操作的概率为Pi,单词不被执行加噪声操作的概率为1-Pi。
8.一种文本错误检测装置,其特征在于,包括:
第一样本获取模块,用于获取标准语句文本,并将所述标准语句文本作为第一样本添加至训练集;
第二样本获取模块,用于对所述标准语句文本添加噪声得到错误语句文本,并将所述错误语句文本作为第二样本添加至所述训练集;
模型训练模块,用于利用所述训练集中的样本对初始模型进行训练得到语义不明检测模型;
错误检测模块,用于通过所述语义不明检测模型对待检测语句文本执行文本错误检测操作。
9.一种电子设备,其特征在于,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器调用所述存储器中的计算机程序时实现如权利要求1至7任一项所述文本错误检测方法的步骤。
10.一种存储介质,其特征在于,所述存储介质中存储有计算机可执行指令,所述计算机可执行指令被处理器加载并执行时,实现如上权利要求1至7任一项所述文本错误检测方法的步骤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海流利说信息技术有限公司,未经上海流利说信息技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010558690.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种测定植物叶中甲酸脱氢酶活性及其评价的方法
- 下一篇:一种智能出烟装置