[发明专利]一种基于大数据处理技术的新闻事件检测方法及系统在审
申请号: | 201810792930.3 | 申请日: | 2018-07-18 |
公开(公告)号: | CN110147439A | 公开(公告)日: | 2019-08-20 |
发明(设计)人: | 刘玉葆;吴杰锋 | 申请(专利权)人: | 中山大学 |
主分类号: | G06F16/335 | 分类号: | G06F16/335;G06F16/35;G06F16/34;G06F16/951;G06F17/27 |
代理公司: | 广州粤高专利商标代理有限公司 44102 | 代理人: | 林丽明 |
地址: | 510275 广东*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明涉及一种基于大数据处理技术的新闻事件检测方法,包括以下步骤:S1.分别使用静态网页爬虫技术和动态网页爬虫技术从各个新闻门户网站爬取新闻数据;S2.过滤新闻数据中的噪音,然后对新闻数据进行文本去重、命名实体识别和文本自动摘要生成这些操作;S3.通过分词、特征提取、特征降维和文本聚类这些步骤从新闻数据中检测出新闻事件,并对事件进行追踪,从而形成新闻话题;S4.通过界面对最终检测到的新闻话题信息进行展示。 | ||
搜索关键词: | 新闻数据 数据处理技术 新闻事件检测 爬虫技术 新闻话题 文本 动态网页 静态网页 命名实体 特征提取 文本聚类 新闻门户 新闻事件 摘要生成 检测 分词 去重 网站 过滤 噪音 追踪 展示 | ||
【主权项】:
1.一种基于大数据处理技术的新闻事件检测方法,其特征在于:包括以下步骤:S1.分别使用静态网页爬虫技术和动态网页爬虫技术从各个新闻门户网站爬取新闻数据;S2.过滤新闻数据中的噪音,然后对新闻数据进行文本去重、命名实体识别和文本自动摘要生成这些操作;S3.通过分词、特征提取、特征降维和文本聚类这些步骤从新闻数据中检测出新闻事件,并对事件进行追踪,从而形成新闻话题;S4.通过界面对最终检测到的新闻话题信息进行展示。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中山大学,未经中山大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201810792930.3/,转载请声明来源钻瓜专利网。
- 上一篇:一种专利检索方法
- 下一篇:消息推送方法、装置、计算机设备及存储介质