[发明专利]一种大规模相似新闻标题快速归一化方法有效
| 申请号： | 201910521164.1 | 申请日： | 2019-06-18 |
| 公开（公告）号： | CN110245275B | 公开（公告）日： | 2023-09-01 |
| 发明（设计）人： | 鲍翊平;曹扬;王进;何春辉;张翀;葛斌;夏利锋;王绍丽 | 申请（专利权）人： | 中电科大数据研究院有限公司;贵州华云创谷科技有限公司;长沙军民先进技术研究有限公司 |
| 主分类号： | G06F16/9032 | 分类号： | G06F16/9032;G06F16/951;G06F16/9535 |
| 代理公司： | 长沙市护航专利代理事务所(特殊普通合伙) 43220 | 代理人： | 谢新苗 |
| 地址： | 550000 贵州省贵阳市贵阳*** | 国省代码： | 贵州;52 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种大规模相似新闻标题快速归一化方法，所述方法包括：S1、预处理新闻标题数据；S2、将与任意给定新闻标题相关的新闻标题数据进行排序；S3、计算相关新闻标题与该新闻标题之间相似度并排序；S4、比较相关新闻标题中最大相似度值与设定相似度阈值并判断索引中是否存在相似新闻标题，若存在则将最大相似度新闻标题MD5值作为该新闻标题归一化序列码，若不存在则进入步骤S5；S5、计算该新闻标题MD5值，作为其归一化序列码与其内容存入索引中；S6、重复步骤S2和S5，完成所有新闻标题的归一化映射。本发明可以快速找出相关的新闻标题并做出相似性判定，然后将相似新闻标题映射成唯一的归一化序列码，实现了大规模相似新闻标题的快速归一化。 | ||
| 搜索关键词： | 一种 大规模 相似 新闻标题 快速 归一化 方法 | ||
【主权项】：
1.一种大规模相似新闻标题快速归一化方法，其特征在于，所述方法包括以下步骤：S1、将收集的所有新闻标题数据进行预处理；S2、任意给定一个新闻标题T，并采用分布式索引方法逐条实时检索与该新闻标题T相关的新闻标题数据，然后将相关的新闻标题数据进行排序；S3、通过相似度计算方法分别计算所述步骤S2中检索的相关新闻标题数据与新闻标题T之间的相似度并降序排序，然后返回至最大相似度的新闻标题；S4、设定相似度阈值A并将所述步骤S3中最大相似度值与相似度阈值A进行比较，从而判断索引中是否存在与该新闻标题T相似的新闻标题，若索引中存在相似新闻标题，则将最大相似度新闻标题的归一化序列码赋值给该新闻标题T并作为该新闻标题T的归一化序列码，完成该新闻标题T的归一化映射，若索引中不存在相似新闻标题，则进入步骤S5；S5、计算该新闻标题T的MD5值，并将该新闻标题T的MD5值作为归一化序列码与该新闻标题T的内容存入索引中；S6、重复步骤S2‑S5，直至完成所有新闻标题数据的归一化映射。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于中电科大数据研究院有限公司;贵州华云创谷科技有限公司;长沙军民先进技术研究有限公司，未经中电科大数据研究院有限公司;贵州华云创谷科技有限公司;长沙军民先进技术研究有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201910521164.1/，转载请声明来源钻瓜专利网。
