[发明专利]计算文本语义距离的方法、去重方法、聚类方法以及装置在审
| 申请号： | 201810892067.9 | 申请日： | 2018-08-07 |
| 公开（公告）号： | CN109033087A | 公开（公告）日： | 2018-12-18 |
| 发明（设计）人： | 孙雨轩;吴成龙 | 申请（专利权）人： | 中证征信（深圳）有限公司 |
| 主分类号： | G06F17/27 | 分类号： | G06F17/27;G06F17/22;G06F17/30 |
| 代理公司： | 暂无信息 | 代理人： | 暂无信息 |
| 地址： | 518038 广东省深圳市福田*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种计算文本语义距离的方法、去重方法、聚类方法及装置，计算文本语义距离的方法包括：获取第一及第二文本；判断第一及第二文本之间是否需要进行语义距离计算；若是，对第一及第二文本进行预处理以得到第一及二句子集合；将第一及第二句子集合中公开的主体替换为对应的唯一编码，获取第一及第二句子集合中的唯一编码以形成第一及第二编码集合，获取第一及第二句子集合中的关键词以形成第一及第二关键词集合及每一关键词的权重；转换第一及第二关键词集合中的每一关键词，以得到第一及第二文本特征向量；根据第一编码集合、第一文本特征向量、第一文本发布时间及第二编码集合、第二文本特征向量、第二文本发布时间计算两文本语义距离。 | ||
| 搜索关键词： | 句子集合 文本语义 文本 文本特征向量 编码集合 关键词集合 唯一编码 聚类 去重 预处理 时间计算 语义距离 权重 发布 替换 转换 | ||
【主权项】：
1.一种计算文本语义距离的方法，包括以下步骤：获取第一文本及第二文本；以第一文本及第二文本中是否公开了相同主体为依据，判断所述第一文本及第二文本之间是否需要进行语义距离计算；若第一文本及第二文本之间需要进行语义距离计算，将所述相同主体视为目标主体，分别对第一文本及第二文本进行预处理，以得到第一文本中含有所述目标主体的第一句子集合、第二文本中含有所述目标主体的第二句子集合；将所述第一句子集合及第二句子集合中公开的主体替换为对应的唯一编码，并分别获取所述第一句子集合及第二句子集合中的唯一编码以分别形成第一编码集合及第二编码集合，分别获取第一句子集合及第二句子集合中的关键词以分别形成第一关键词集合、第二关键词集合以及每一关键词集合中每一关键词的权重；分别转换第一关键词集合及第二关键词集合中的每一关键词并加权叠加，以分别得到与第一文本特征向量及第二文本特征向量；根据所述第一编码集合、第一文本特征向量、第一文本发布时间以及第二编码集合、第二文本特征向量、第二文本发布时间计算两文本之间的语义距离。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中证征信（深圳）有限公司，未经中证征信（深圳）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201810892067.9/，转载请声明来源钻瓜专利网。
- 上一篇：一种地址解析、匹配的方法及装置
- 下一篇：一种基于神经网络的第二语言习得模型
