[发明专利]基于人工智能的文本纠错方法、装置、电子设备及介质在审
申请号: | 202310336544.4 | 申请日: | 2023-03-24 |
公开(公告)号: | CN116306513A | 公开(公告)日: | 2023-06-23 |
发明(设计)人: | 陈浩 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F40/151 | 分类号: | G06F40/151;G06F40/289;G06N20/00 |
代理公司: | 深圳市赛恩倍吉知识产权代理有限公司 44334 | 代理人: | 林丽纯 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 人工智能 文本 纠错 方法 装置 电子设备 介质 | ||
1.一种基于人工智能的文本纠错方法,其特征在于,所述方法包括:
响应于接收的文本纠错请求,获取第一训练集;
对所述第一训练集中的文本进行预处理,得到第二训练集;
采用预设的构建规则对所述第二训练集中的文本进行构建,得到纠错文本集;
基于所述纠错文本集对预训练模型BERT进行参数微调,得到目标纠错模型;
响应于接收的纠错文本,将所述纠错文本输入至所述目标纠错模型中,获得纠错后目标文本。
2.如权利要求1所述的基于人工智能的文本纠错方法,其特征在于,所述采用预设的构建规则对所述第二训练集中的文本进行构建,得到纠错文本集包括:
获取所述第二训练集中的每条文本;
基于预设的构建规则对每条文本进行构建,得到纠错文本集,其中,所述预设的构建规则包括以下一种或者多种的组合:形似字替换规则、相似拼音字替换规则、随机选取目标字替换规则及不替换规则。
3.如权利要求2所述的基于人工智能的文本纠错方法,其特征在于,所述基于预设的构建规则对每条文本进行构建,得到纠错文本集包括:
基于所述形似字替换规则对每条文本进行构建,得到对应文本的纠错文本,包括,识别每条文本中是否存在形似字,若所述每条文本中存在形似字,将对应文本中的形似字替换为第一目标字,得到对应文本的纠错文本;和/或
基于所述相似拼音字替换规则对每条文本进行构建,得到对应文本的纠错文本,包括,识别每条文本中是否存在相似拼音字,若所述每条文本中存在相似拼音字,将对应文本中的相似拼音字替换为第二目标字,得到对应文本的纠错文本;和/或
基于所述随机选取目标字替换规则对每条文本进行构建,得到对应文本的纠错文本,包括,从每条文本中随机选取一个第三目标字,将所述第三目标字替换为预设掩码标记,得到对应文本的纠错文本;和/或
基于所述不替换规则对每条文本进行构建,得到对应文本的纠错文本,包括,获取每条文本的准确文本,确定为对应文本的纠错文本。
4.如权利要求1所述的基于人工智能的文本纠错方法,其特征在于,所述对所述第一训练集中的文本进行预处理,得到第二训练集包括:
剔除所述第一训练集中每个文本中的无用字符,得到目标文本;
判断所述目标文本的长度是否大于预设的长度;
若所述目标文本的长度大于所述预设的长度,按照所述预设的长度对所述目标文本进行断句,得到多个句子,并将不满足所述预设的长度的每个句子,根据预设补全标记补全对应句子的长度,直至补全后的对应句子的长度等于所述预设的长度,基于满足所述预设的长度的句子和补全后的对应句子构建第二训练集;
若所述目标文本的长度小于或者等于所述预设的长度,根据所述预设补全标记补全所述目标文本的长度,直至补全后的所述目标文本的长度等于所述预设的长度,基于补全后的所述目标文本构建第二训练集。
5.如权利要求1所述的基于人工智能的文本纠错方法,其特征在于,所述响应于接收的文本纠错请求,获取第一训练集包括:
解析所述文本纠错请求,获取纠错请求的报文信息;
从所述报文信息中获取对应的新闻调用接口;
通过所述新闻调用接口从对应数据库中获取多条新闻标题;
基于每条新闻标题获取对应新闻的新闻简介文本;
将获取的多个新闻简介文本作为第一训练集。
6.如权利要求1所述的基于人工智能的文本纠错方法,其特征在于,所述基于所述纠错文本集对预训练模型BERT进行参数微调,得到目标纠错模型包括:
对所述纠错文本集中的每个文本进行分词处理,得到多个分词;
对所述多个分词进行全词掩码处理,得到目标纠错文本集;
将所述目标纠错文本集输入至预训练模型BERT,获取所述预训练模型BERT中的多个编码层和多个解码层,并确定编码层和解码层之间的对应关系;
获取每个所述编码层的参数,并将所述参数更新为所述编码层对应的解码层的参数;
基于参数更新后的预训练模型BERT重新进行训练,得到目标纠错模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310336544.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种磁吸连接器
- 下一篇:电池托盘搅拌摩擦焊加工工装