[发明专利]相似文本去重方法、装置、存储介质及电子装置在审
申请号: | 202211698954.5 | 申请日: | 2022-12-28 |
公开(公告)号: | CN115982144A | 公开(公告)日: | 2023-04-18 |
发明(设计)人: | 杨梦诗;刘升平;梁家恩 | 申请(专利权)人: | 云知声智能科技股份有限公司 |
主分类号: | G06F16/215 | 分类号: | G06F16/215;G06F40/30;G06F40/289;G06F40/216;G06F16/35;G06F18/22;G06N3/0455 |
代理公司: | 暂无信息 | 代理人: | 暂无信息 |
地址: | 100096 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种相似文本去重方法、装置、存储介质及电子装置。其中,该相似文本去重方法包括:通过获取待处理文本;将待处理文本输入预训练语义模型,输出结合待处理文本的上下文和词位置信息的文本表征矩阵;以文本表征矩阵为输入,利用聚类算法进行相似文本去重处理,得到处理后的目标文本,即本发明语义模型经过海量文本的预训练,能结合上下文和词的位置,精确捕捉广泛且复杂的语义信息,进而解决了现有技术中,相似文本去重精度较低的技术问题。 | ||
搜索关键词: | 相似 文本 方法 装置 存储 介质 电子 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于云知声智能科技股份有限公司,未经云知声智能科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202211698954.5/,转载请声明来源钻瓜专利网。