[发明专利]文本纠错方法、装置、电子设备及计算机可读存储介质在审
申请号: | 202011435068.4 | 申请日: | 2020-12-10 |
公开(公告)号: | CN112528633A | 公开(公告)日: | 2021-03-19 |
发明(设计)人: | 洪振厚;王健宗;瞿晓阳 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F40/232 | 分类号: | G06F40/232;G06F40/205;G06F40/166;G06F40/126 |
代理公司: | 深圳市沃德知识产权代理事务所(普通合伙) 44347 | 代理人: | 高杰;于志光 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 纠错 方法 装置 电子设备 计算机 可读 存储 介质 | ||
1.一种文本纠错方法,其特征在于,所述方法包括:
获取原始文本,对所述原始文本进行字符拆分,得到字符集;
利用表征算法计算所述字符集中每个字符的字符表征;
根据所述字符集与所述字符表征构建所述字符集中每个字符的字符向量;
获取标准字符向量集,分别计算所述字符集中每个字符的字符向量与所述标准字符向量集中各标准字符向量的相似度;
根据所述相似度从所述标准字符向量集中筛选出所述字符集中每个字符的字符向量的相似向量;
计算所述相似向量的先验依赖性概率,根据所述先验依赖性概率选择相似向量对所述原始文本进行文本纠错,得到纠错文本。
2.如权利要求1所述的文本纠错方法,其特征在于,所述对所述原始文本进行字符拆分,得到字符集,包括:
遍历所述原始文本并在所述原始文本中每个字符间插入分隔符;
按照所述分隔符将所述原始文本进行拆分,得到字符集。
3.如权利要求1所述的文本纠错方法,其特征在于,所述根据所述字符集与所述字符表征构建所述字符集中每个字符的字符向量,包括:
将所述字符集中每个字符进行编码转化,得到字符编码;
将所述字符编码与所述字符表征进行算术运算,得到字符向量。
4.如权利要求1所述的文本纠错方法,其特征在于,所述分别计算所述字符集中每个字符的字符向量与所述标准字符向量集中各标准字符向量的相似度,包括:
利用如下相似度算法计算所述字符集中每个字符的字符向量与所述标准字符向量集中各标准字符向量的相似度:
其中,S(Xn,Ym)为所述距离值,Xn为所述字符集中第n个字符的字符向量,Ym为所述标准字符向量集中第m个标准字符向量。
5.如权利要求1至4中任一项所述的文本纠错方法,其特征在于,所述根据所述相似度从所述标准字符向量集中筛选出所述字符集中每个字符的字符向量的相似向量,包括:
当所述相似度小于或等于预设的相似阈值时,确定所述标准字符向量与所述字符向量不相似;
当所述相似度大于所述相似阈值时,确定所述标准字符向量与所述字符向量相似,将所述标准字符向量作为所述字符向量的相似向量。
6.如权利要求1所述的文本纠错方法,其特征在于,所述根据所述先验依赖性概率选择相似向量对所述原始文本进行文本纠错,得到纠错文本,包括:
当所述先验依赖性概率小于或等于预设的概率阈值时,保留与所述相似向量对应的字符向量;
当所述先验依赖性概率大于所述概率阈值时,利用所述相似向量对与所述相似向量对应的字符向量进行替换,的到纠错文本。
7.如权利要求1所述的文本纠错方法,其特征在于,所述获取原始文本,包括:
查询所述原始文本的存储地址;
检测所述存储地址的存储环境;
通过与所述存储环境对应的编译器编译得到文本调用语句;
执行所述文本调用语句从所述存储地址中获取所述原始文本。
8.一种文本纠错装置,其特征在于,所述装置包括:
字符拆分模块,用于获取原始文本,对所述原始文本进行字符拆分,得到字符集;
表征计算模块,用于利用表征算法计算所述字符集中每个字符的字符表征;
向量构建模块,用于根据所述字符集与所述字符表征构建所述字符集中每个字符的字符向量;
相似度计算模块,用于获取标准字符向量集,分别计算所述字符集中每个字符的字符向量与所述标准字符向量集中各标准字符向量的相似度;
向量筛选模块,用于根据所述相似度从所述标准字符向量集中筛选出所述字符集中每个字符的字符向量的相似向量;
文本纠错模块,用于计算所述相似向量的先验依赖性概率,根据所述先验依赖性概率选择相似向量对所述原始文本进行文本纠错,得到纠错文本。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011435068.4/1.html,转载请声明来源钻瓜专利网。