[发明专利]一种数据处理方法、装置及系统无效
| 申请号： | 201210046932.0 | 申请日： | 2012-02-27 |
| 公开（公告）号： | CN103294702A | 公开（公告）日： | 2013-09-11 |
| 发明（设计）人： | 李晨;马向晖 | 申请（专利权）人： | 上海淼云文化传播有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京集佳知识产权代理有限公司 11227 | 代理人： | 逯长明 |
| 地址： | 200072 上海市闸北区广*** | 国省代码： | 上海;31 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种数据处理方法、装置及系统，所述方法包括对待存储数据进行hash算法计算，得出所述待存储数据的关键值；在预先设定的数据集合中查找是否含有与所述关键值相匹配的关键值，如果是，舍去所述待存储数据，如果否，将所述待存储数据以列式存储方法进行存储，并将所述待存储数据的关键值存储至所述数据集合中。通过本发明提供的一种数据处理方法、装置或系统实施例，在对待存储数据以列式存储方法进行存储之前先进行hash计算，依据得出的关键值对待存储数据进行去重处理，从而在进行海量数据处理时避免数据的冗余现象，避免了存储空间的浪费。 | ||
| 搜索关键词： | 一种 数据处理 方法 装置 系统 | ||
【主权项】：
一种数据处理方法，其特征在于，包括：对待存储数据进行hash算法计算，得出所述待存储数据的关键值；在预先设定的数据集合中查找是否含有与所述关键值相匹配的关键值，如果是，舍去所述待存储数据，如果否，将所述待存储数据以列式存储方法进行存储，并将所述待存储数据的关键值存储至所述数据集合中。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于上海淼云文化传播有限公司，未经上海淼云文化传播有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201210046932.0/，转载请声明来源钻瓜专利网。
