[发明专利]文本的去重方法、装置、电子设备、及计算机程序产品在审
| 申请号： | 202111243089.0 | 申请日： | 2021-10-25 |
| 公开（公告）号： | CN116028591A | 公开（公告）日： | 2023-04-28 |
| 发明（设计）人： | 丁鹏勇;刘委婉;洪浩旭;林炳;刘玮;刘望;段炼;吕正林;张歆;孙敏;刘虹;徐海勇;李莉;李飞龙;汪帆 | 申请（专利权）人： | 中移信息技术有限公司;中国移动通信集团有限公司 |
| 主分类号： | G06F16/33 | 分类号： | G06F16/33;G06F40/216;G06F40/284 |
| 代理公司： | 北京路浩知识产权代理有限公司 11002 | 代理人： | 陈新生 |
| 地址： | 518000 广东省深圳市福*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请提供文本的去重方法、装置、设备、及程序产品，涉及大数据处理技术领域。所述文本的去重方法包括：分别对若干待去重文本的关键词进行映射，得到若干待去重文本的关键词向量序列；基于待去重文本的关键词向量序列，利用旋转扭词距离下界算法筛选若干符合第一预设条件的待去重文本；基于符合第一预设条件的待去重文本的关键词向量序列，利用旋转扭词距离算法得到若干符合第一预设条件的待去重文本之间的相似度，根据相似度的高低实现符合第一预设条件的待去重文本的重合去重。本申请提供的文本的去重方法，结合粗略筛选和精确查重，可以先筛选出明显不相似的待去重文本，从源头降低处理成本，为后续步骤降低技术难度，有效提高去重效率。 | ||
| 搜索关键词： | 文本 方法 装置 电子设备 计算机 程序 产品 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中移信息技术有限公司;中国移动通信集团有限公司，未经中移信息技术有限公司;中国移动通信集团有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/202111243089.0/，转载请声明来源钻瓜专利网。
- 上一篇：印制电路板及其钻孔方法
- 下一篇：通信方法、设备、存储介质和计算机程序产品
