[发明专利]一种基于Spark平台的集团新闻数据预处理方法在审
| 申请号： | 201710500031.7 | 申请日： | 2017-06-27 |
| 公开（公告）号： | CN107315809A | 公开（公告）日： | 2017-11-03 |
| 发明（设计）人： | 李腾 | 申请（专利权）人： | 山东浪潮通软信息科技有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30;G06F17/27 |
| 代理公司： | 济南信达专利事务所有限公司37100 | 代理人： | 孟峣 |
| 地址： | 250100 山东省*** | 国省代码： | 山东;37 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种基于Spark平台的集团新闻数据预处理方法，其具体实现过程为，采集算子，即采集集团新闻数据；去噪算子，即将采集回来的集团新闻数据进行去噪处理，去噪算子基于Spark平台完成；去重算子，对去噪处理后的数据进行去重处理；最后设定海明距离阈值，在去重处理中将海明距离小于设定的阈值的文本判定为近似文本。本发明的一种基于Spark平台的集团新闻数据预处理方法与现有技术相比，处理速度快，亿级记录去噪可在毫秒级内完成,千万级记录去重可在分钟级完成；准确率高去噪处理准确率可达到96.4%,去重处理准确率期可达到90.3%，实用性强，适用范围广泛，易于推广。 | ||
| 搜索关键词： | 一种 基于 spark 平台 集团 新闻 数据 预处理 方法 | ||
【主权项】：
一种基于Spark平台的集团新闻数据预处理方法，其特征在于，其具体实现过程为，采集算子，即采集集团新闻数据；去噪算子，即将采集回来的集团新闻数据进行去噪处理，去噪算子基于Spark平台完成；去重算子，对去噪处理后的数据进行去重处理；最后设定海明距离阈值，在去重处理中将海明距离小于设定的阈值的文本判定为近似文本。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于山东浪潮通软信息科技有限公司，未经山东浪潮通软信息科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710500031.7/，转载请声明来源钻瓜专利网。
- 上一篇：一种Web查询框架
- 下一篇：一种物联网设备行为画像方法
