[发明专利]一种海量非结构化数据的数据存储方法有效
| 申请号： | 201510088785.7 | 申请日： | 2015-02-26 |
| 公开（公告）号： | CN104731864B | 公开（公告）日： | 2018-05-29 |
| 发明（设计）人： | 王琦;刘阳;杨鹏;陈训逊;王树鹏;王勇;王振宇 | 申请（专利权）人： | 国家计算机网络与信息安全管理中心;中国科学院信息工程研究所 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30 |
| 代理公司： | 北京君尚知识产权代理事务所(普通合伙) 11200 | 代理人： | 司立彬 |
| 地址： | 100029*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种海量非结构化数据的数据存储方法。本方法为：1)设定一时间间隔T，将数据存储集群划分为多个分区，用于将同一时间间隔T内的记录存储到同一分区内；同时将每一分区划分为n个散列区；2)对于每条非结构化记录，提取其产生的时间t以及一个或多个唯一表示该记录的关键信息key；3)根据每条记录的时间t，确定其要存储到的分区，然后根据该记录的关键信息key计算其在该分区中对应的散列区值；4)根据步骤3)的计算结果，将属于同一时间间隔且散列区值相同的记录写入同一文件F中并统计该文件F的记录数，如果记录数大于设定阈值K，则在当前散列区中创建另一文件进行存储。本发明存储方法能够大大提升了数据检索效率。 | ||
| 搜索关键词： | 散列 数据存储 记录 非结构化数据 存储 关键信息 分区 记录数 数据检索效率 非结构化 记录存储 唯一表示 集群 写入 创建 统计 | ||
【主权项】：
1.一种海量非结构化数据的数据存储方法，其步骤为：1)设定一时间间隔T，将数据存储集群划分为多个分区，用于将同一时间间隔T内的记录存储到同一分区内；同时将每一分区划分为n个散列区；2)对于每条非结构化记录，提取其产生的时间t以及一个或多个唯一表示该记录的关键信息key；3)根据每条记录的时间t，确定其要存储到的分区，然后根据该记录的关键信息key计算该记录在该分区中对应的散列区值；4)根据步骤3)的计算结果，将属于同一个时间间隔且散列区值相同的记录写入同一个文件F中并统计该文件F的记录数，如果记录数大于设定阈值K，则在当前散列区中创建另一文件进行存储；其中，所述散列区信息的表示方法为：n-n’，n’为散列区值；每一分区的散列区数量值n可调，当n值调整后，n-n’中的散列区值n’保持不变。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于国家计算机网络与信息安全管理中心;中国科学院信息工程研究所，未经国家计算机网络与信息安全管理中心;中国科学院信息工程研究所许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201510088785.7/，转载请声明来源钻瓜专利网。
- 上一篇：拦截广告的方法及装置
- 下一篇：数据处理方法及装置
