[发明专利]平行语料获取方法、装置、电子设备、及存储介质有效
申请号: | 202010099153.1 | 申请日: | 2020-02-18 |
公开(公告)号: | CN111310465B | 公开(公告)日: | 2021-07-23 |
发明(设计)人: | 曹军;李磊;王明轩;朱培豪 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | G06F40/289 | 分类号: | G06F40/289;G06F16/33;G06F16/951 |
代理公司: | 北京远智汇知识产权代理有限公司 11659 | 代理人: | 范坤坤 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本公开实施例公开了一种平行语料获取方法、装置、电子设备、及存储介质,方法包括:识别存在平行语料的网页;对所述网页进行分组;对分组内的网页基于网页文本的主要语种的比例确定是否保留与主要语种有关的文本数据;将分组内保留的文本数据根据不同语种两两组合,对各组合所包含的文本数据对进行文本对齐获取平行语料。本公开实施例能够提高获取平行语料的效率,应用该方法能够从海量网页中自动获取大量平行语料数据。 | ||
搜索关键词: | 平行 语料 获取 方法 装置 电子设备 存储 介质 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202010099153.1/,转载请声明来源钻瓜专利网。