[发明专利]数据处理方法及装置在审
| 申请号： | 201510615762.7 | 申请日： | 2015-09-24 |
| 公开（公告）号： | CN105160014A | 公开（公告）日： | 2015-12-16 |
| 发明（设计）人： | 谭良;王闪 | 申请（专利权）人： | 四川师范大学 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京超凡志成知识产权代理事务所(普通合伙) 11371 | 代理人： | 张玲 |
| 地址： | 610000 *** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明实施例提供了一种数据处理方法及装置，改善了现有技术中无法在Web大数据清理阶段进行重复数据清理的问题。该数据处理方法包括：建立待处理网站数据源的网页对象数据模型；根据抽取出的数据信息建立网页数据信息模型；根据网页数据信息模型抽取出待处理网站数据源中各页面的数据项和描述对象，对各页面进行分类；根据各页面的数据项计算出每个页面的相似哈希值，判断同一类页面中各页面之间的相似哈希值之间的差值是否满足预设阈值，如果是，则判定为重复页面数据，对重复页面数据进行清理。使用该数据处理方法，可以在Web大数据清理阶段进行重复数据清理，降低了数据存储与管理的时间和成本。 | ||
| 搜索关键词： | 数据处理 方法 装置 | ||
【主权项】：
一种数据处理方法，其特征在于，包括：建立待处理网站数据源的网页对象数据模型，所述网页对象数据模型中包括所述待处理网站数据源中各页面所包含的数据信息；对所述待处理网站数据源中各页面所包含的数据信息进行抽取，根据抽取出的数据信息建立网页数据信息模型；根据所述网页数据信息模型抽取出所述待处理网站数据源中各页面的数据项和描述对象，并根据抽取的各页面的描述对象和数据项对各页面进行分类；根据各页面的数据项计算出每个页面的相似哈希值，判断同一类页面中各页面之间的相似哈希值之间的差值是否满足预设阈值，如果是，则判定为重复数据，对重复数据进行清理。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于四川师范大学，未经四川师范大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201510615762.7/，转载请声明来源钻瓜专利网。
- 上一篇：信息搜索方法及装置
- 下一篇：一种异构数据库的管理方法及系统
