[发明专利]基于人工智能的文本纠错方法、装置、电子设备及介质在审

专利信息
申请号: 202310336544.4 申请日: 2023-03-24
公开(公告)号: CN116306513A 公开(公告)日: 2023-06-23
发明(设计)人: 陈浩 申请(专利权)人: 平安科技(深圳)有限公司
主分类号: G06F40/151 分类号: G06F40/151;G06F40/289;G06N20/00
代理公司: 深圳市赛恩倍吉知识产权代理有限公司 44334 代理人: 林丽纯
地址: 518000 广东省深圳市福田区福*** 国省代码: 广东;44
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 基于 人工智能 文本 纠错 方法 装置 电子设备 介质
【权利要求书】:

1.一种基于人工智能的文本纠错方法,其特征在于,所述方法包括:

响应于接收的文本纠错请求,获取第一训练集;

对所述第一训练集中的文本进行预处理,得到第二训练集;

采用预设的构建规则对所述第二训练集中的文本进行构建,得到纠错文本集;

基于所述纠错文本集对预训练模型BERT进行参数微调,得到目标纠错模型;

响应于接收的纠错文本,将所述纠错文本输入至所述目标纠错模型中,获得纠错后目标文本。

2.如权利要求1所述的基于人工智能的文本纠错方法,其特征在于,所述采用预设的构建规则对所述第二训练集中的文本进行构建,得到纠错文本集包括:

获取所述第二训练集中的每条文本;

基于预设的构建规则对每条文本进行构建,得到纠错文本集,其中,所述预设的构建规则包括以下一种或者多种的组合:形似字替换规则、相似拼音字替换规则、随机选取目标字替换规则及不替换规则。

3.如权利要求2所述的基于人工智能的文本纠错方法,其特征在于,所述基于预设的构建规则对每条文本进行构建,得到纠错文本集包括:

基于所述形似字替换规则对每条文本进行构建,得到对应文本的纠错文本,包括,识别每条文本中是否存在形似字,若所述每条文本中存在形似字,将对应文本中的形似字替换为第一目标字,得到对应文本的纠错文本;和/或

基于所述相似拼音字替换规则对每条文本进行构建,得到对应文本的纠错文本,包括,识别每条文本中是否存在相似拼音字,若所述每条文本中存在相似拼音字,将对应文本中的相似拼音字替换为第二目标字,得到对应文本的纠错文本;和/或

基于所述随机选取目标字替换规则对每条文本进行构建,得到对应文本的纠错文本,包括,从每条文本中随机选取一个第三目标字,将所述第三目标字替换为预设掩码标记,得到对应文本的纠错文本;和/或

基于所述不替换规则对每条文本进行构建,得到对应文本的纠错文本,包括,获取每条文本的准确文本,确定为对应文本的纠错文本。

4.如权利要求1所述的基于人工智能的文本纠错方法,其特征在于,所述对所述第一训练集中的文本进行预处理,得到第二训练集包括:

剔除所述第一训练集中每个文本中的无用字符,得到目标文本;

判断所述目标文本的长度是否大于预设的长度;

若所述目标文本的长度大于所述预设的长度,按照所述预设的长度对所述目标文本进行断句,得到多个句子,并将不满足所述预设的长度的每个句子,根据预设补全标记补全对应句子的长度,直至补全后的对应句子的长度等于所述预设的长度,基于满足所述预设的长度的句子和补全后的对应句子构建第二训练集;

若所述目标文本的长度小于或者等于所述预设的长度,根据所述预设补全标记补全所述目标文本的长度,直至补全后的所述目标文本的长度等于所述预设的长度,基于补全后的所述目标文本构建第二训练集。

5.如权利要求1所述的基于人工智能的文本纠错方法,其特征在于,所述响应于接收的文本纠错请求,获取第一训练集包括:

解析所述文本纠错请求,获取纠错请求的报文信息;

从所述报文信息中获取对应的新闻调用接口;

通过所述新闻调用接口从对应数据库中获取多条新闻标题;

基于每条新闻标题获取对应新闻的新闻简介文本;

将获取的多个新闻简介文本作为第一训练集。

6.如权利要求1所述的基于人工智能的文本纠错方法,其特征在于,所述基于所述纠错文本集对预训练模型BERT进行参数微调,得到目标纠错模型包括:

对所述纠错文本集中的每个文本进行分词处理,得到多个分词;

对所述多个分词进行全词掩码处理,得到目标纠错文本集;

将所述目标纠错文本集输入至预训练模型BERT,获取所述预训练模型BERT中的多个编码层和多个解码层,并确定编码层和解码层之间的对应关系;

获取每个所述编码层的参数,并将所述参数更新为所述编码层对应的解码层的参数;

基于参数更新后的预训练模型BERT重新进行训练,得到目标纠错模型。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202310336544.4/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top