[发明专利]文本处理方法、装置、介质和计算设备有效

专利信息
申请号: 201911043164.1 申请日: 2019-10-29
公开(公告)号: CN110807334B 公开(公告)日: 2023-07-21
发明(设计)人: 付凯;陈旻;黄瑾;段亦涛 申请(专利权)人: 网易有道信息技术(北京)有限公司
主分类号: G06F40/45 分类号: G06F40/45
代理公司: 北京维昊知识产权代理事务所(普通合伙) 11804 代理人: 陈姗姗;杜丹丹
地址: 100084 北京市海淀区西北*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 文本 处理 方法 装置 介质 计算 设备
【权利要求书】:

1.一种文本处理方法,包括:

获取源文本和目标文本;

确定所述目标文本的第二段落数b与所述源文本的第一段落数a的比值f;

根据所述比值f与所述源文本的每个第一段落的段落序号i的乘积,得到针对所述每个第一段落的乘积值i*f;

确定c的取值为0与(i*f-e)中较大的值,且确定d的取值为(i*f+e)与b中较小的值,以得到所述每个第一段落的段落范围,所述段落范围包括所述目标文本中段落序号大于等于c且小于等于d的至少一个第二段落,所述源文本包括的多个第一段落的段落序号及所述目标文本包括的多个第二段落的段落序号均依次递增,c表示段落范围的起始值,d表示段落范围的终点值,e表示预定段落数;

将针对所述每个第一段落的段落范围包括的至少一个第二段落的段落序号与所述每个第一段落的段落序号依次配对,得到多个段落对;

确定所述多个段落对中满足预定条件的段落对为分割段落对,所述分割段落对包括针对所述源文本的第一段落序号和针对所述目标文本的第二段落序号;

根据所述分割段落对,分割所述源文本和目标文本,得到多个子源文本和与所述多个子源文本一一对应的多个子目标文本;以及

采用预定对齐算法,对齐所述多个子源文本和所述多个子目标文本。

2.根据权利要求1所述的方法,其中,确定针对所述源文本的每个第一段落的段落范围还包括:

在所述第二段落数b大于所述预定段落数e的情况下,根据所述第一段落数a、所述第二段落数b及所述预定段落数e,确定针对所述每个第一段落的段落范围。

3.根据权利要求1所述的方法,其中,所述源文本包括第一语言的文本,所述目标文本包括第二语言的文本,所述源文本与所述目标文本的描述内容相同;确定所述多个段落对中满足预定条件的段落对为所述分割段落对包括:

采用翻译规则,得到针对所述每个第一段落的第三段落,所述第三段落为用所述第二语言描述的段落;

根据针对所述每个第一段落的第三段落以及针对所述每个第一段落的段落范围包括的至少一个第二段落,确定针对所述每个第一段落的段落范围包括的至少一个第二段落与所述每个第一段落的相似度;

确定所述至少一个第二段落中与所述每个第一段落的相似度大于等于预定相似度的第二段落为针对所述每个第一段落的相似段落;以及

确定所述多个段落对中,由所述每个第一段落的段落序号及针对所述每个第一段落的相似段落的段落序号配对得到的段落对为所述分割段落对,

其中,所述预定相似度为针对所述第一语言及所述第二语言的相似度。

4.根据权利要求3所述的方法,其中,确定所述多个段落对中满足预定条件的段落对为所述分割段落对还包括:

删除所述多个段落对中,具有相同的第一段落序号的段落对,得到所述分割段落对;并且/或者

删除所述多个段落对中,具有相同的第二段落序号的段落对,得到所述分割段落对;并且/或者

删除所述多个段落对中,第一段落序号与第二段落序号有交叉的所有段落对,得到所述分割段落对。

5.根据权利要求1所述的方法,其中,所述对齐所述多个子源文本和所述多个子目标文本包括:

采用预定对齐算法,并行地将所述多个子源文本中每个子源文本包括的每个第一段落与对应于所述每个子源文本的子目标文本包括的第二段落进行对齐;以及

采用所述预定对齐算法,并行地将多个第一段落中所述每个第一段落包括的每个第一语句与对齐的第二段落包括的第二语句进行对齐。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于网易有道信息技术(北京)有限公司,未经网易有道信息技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201911043164.1/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top