[发明专利]一种数据处理方法和装置在审
| 申请号： | 201510146263.8 | 申请日： | 2015-03-30 |
| 公开（公告）号： | CN104715059A | 公开（公告）日： | 2015-06-17 |
| 发明（设计）人： | 张新亮 | 申请（专利权）人： | 天脉聚源(北京)传媒科技有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京尚伦律师事务所 11477 | 代理人： | 张亮 |
| 地址： | 100007 北京市东城区*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 数据处理 方法 装置 | ||
1.一种数据处理方法，其特征在于，包括以下步骤：
获取多份数据；
对获取的多份数据进行校验，得到多份数据中的至少两份相同的数据；
保留所述至少两份相同的数据中的一份数据。
2.根据权利要求1所述的方法，其特征在于，所述对获取的多份数据进行校验，得到多份数据中的至少两份相同的数据，包括：
计算多份数据中的每一份数据的MD5值；
将MD5值相同的至少两份数据确认为是相同的数据。
3.根据权利要求1所述的方法，其特征在于，所述保留所述至少两份相同的数据中的一份数据，包括：
识别所述至少两份相同的数据的来源；
查找所述至少两份相同的数据中是否存在来自所述来源的数据；
当所述至少两份相同的数据中存在来自所述来源的数据时，保留所述至少两份相同的数据中的来自所述来源的一份数据。
4.根据权利要求1所述的方法，其特征在于，所述保留所述至少两份相同的数据中的一份数据，包括：
比较所述至少两份相同的数据的发布时间是否相同；
当所述至少两份相同的数据的发布时间不同时，保留所述至少两份相同的数据中的发布时间较早的一份数据。
5.一种数据处理装置，其特征在于，包括：
获取模块，用于获取多份数据；
校验模块，用于对获取的多份数据进行校验，得到多份数据中的至少两份相同的数据；
处理模块，用于保留所述至少两份相同的数据中的一份数据。
6.根据权利要求5所述的装置，其特征在于，所述校验模块，包括：
计算子模块，用于计算多份数据中的每一份数据的MD5值；
确认子模块，用于将MD5值相同的至少两份数据确认为是相同的数据。
7.根据权利要求5所述的装置，其特征在于，所述处理模块，包括：
识别子模块，用于识别所述至少两份相同的数据的来源；
查找子模块，用于查找所述至少两份相同的数据中是否存在来自所述来源的数据；
第一处理子模块，用于当所述至少两份相同的数据中存在来自所述来源的数据时，保留所述至少两份相同的数据中的来自所述来源的一份数据。
8.根据权利要求5所述的装置，其特征在于，所述处理模块，包括：
比较子模块，用于比较所述至少两份相同的数据的发布时间；
第二处理子模块，用于当所述至少两份相同的数据的发布时间不同时，保留所述至少两份相同的数据中的发布时间较早的一份数据。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于天脉聚源(北京)传媒科技有限公司;，未经天脉聚源(北京)传媒科技有限公司;许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201510146263.8/1.html，转载请声明来源钻瓜专利网。
