[发明专利]数据处理装置和数据处理方法有效
申请号: | 201110319561.4 | 申请日: | 2011-10-20 |
公开(公告)号: | CN103064843A | 公开(公告)日: | 2013-04-24 |
发明(设计)人: | 谭光超;王亮;陈沛 | 申请(专利权)人: | 北京中搜网络技术股份有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京市盈科律师事务所 11344 | 代理人: | 赵成伟 |
地址: | 100191 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 装置 方法 | ||
技术领域
本发明涉及计算机技术领域,具体而言,涉及一种数据处理装置和一种数据处理方法。
背景技术
CouchDB是一个″面向文档″的数据库,文档的格式是一个JSON字符串(也可包含二进制附件)。底层结构是由一个“存储”(storeage),以及多个“视图索引”(view indexs)。“储存”用来储存文件,“视图索引”用于查询处理。
所有的更新操作(包括文件(document)的创建,修改和删除)都是以在CouchDB数据库中的后缀为couch的文件尾部追加的方式(即Append追加方式)进行。我们进行更新时,首先拷贝原有的数据信息(仅仅针对修改,如果是创建(Create)那么就没有拷贝(copy)可言了),随后将其追加到文件的结尾,这个时候就激发平衡二叉查找树(B+Tree)从叶子节点(leaf)到根节点(root)的更新过程,更新的节点(Node)信息也是采用Append的方式写入到文件的结尾,到达根节点时,我们将根节点信息写入到文件头(Header)中。这样一次更新操作涉及1次数据写入,以及LogN次节点更新,所以其复杂度为O(logN)。
因此采用追加的方式,所以在数据库运行一段时间后,我们需要对其进行“瘦身”,以清理那些旧的Document数据。这个过程成为压紧(Compaction)。在Compaction的过程,数据库仍然可用,只是需要注意,在Compaction的时候,是通过遍历DBName.couch文件,将最新的数据拷贝到一个DBName.compat文件中,因此这个过程可能会耗费很大的存储空间,如果在系统繁忙(主要是写入操作(write))的情况下进行Compaction,可能会导致硬盘空间耗尽。值得注意的是,读操作是并行的,写操作是串行的。换句话说,在任何时候只有一个写的更新操作。
这也就是说,通过目前的数据存储方式,对于单个数据文件而言,随着使用时间的增多,数据文件会占用大量存储空间,压紧(Compaction)过程占用资源过多,时间长,影响服务。
因此,需要一种新的针对数据存储的数据管理方式,能够实现同时进行多个数据文件的写入操作,而且可以保证生成的数据文件大小合理,不至于由于进行压紧操作,而导致占用大量的资源和时间,避免对用户造成不良的使用影响。
发明内容
本发明所需要解决的技术问题在于,提供一种新的针对数据存储的数据管理方式,能够实现同时进行多个数据文件的写入操作,而且可以保证生成的数据文件大小合理,不至于由于进行压紧操作,而导致占用大量的资源和时间,避免对用户造成不良的使用影响。
有鉴于此,本发明提供一种数据处理装置,包括:文件管理模块,在需要存储数据时,分配写入文件,由数据操作模块将所述数据追加到所述写入文件的尾部;所述数据操作模块,在需要对所述数据进行新增时,将所述数据的新增数据,继续追加到所述写入文件的尾部,在需要对所述数据进行修改时,将所述数据的修改数据继续追加到所述写入文件的尾部,并在所述写入文件中,将所述数据中的需修改数据作为废弃数据,在需要对所述数据进行删除时,在所述写入文件中,将所述数据作为所述废弃数据,所述文件管理模块在所述写入文件满足预定条件时,分配新写入文件,并由所述数据操作模块将所述写入文件中的非废弃数据追加到所述新写入文件的尾部,同时删除所述写入文件。通过该技术方案,针对对数据进行的增删改等操作,仅采用追加的方式来实现,效率较高,并且有效控制了数据文件的大小,不需进行浪费时间以及资源的压紧操作,不影响用户的正常使用。
在上述技术方案中,优选地,所述文件管理模块还创建多个写入文件以供分配,以及在所述写入文件被删除时,再创建一个写入文件,以供分配。通过该技术方案,保证随时有稳定数量的写入文件来实现数据的写入操作,保证方案执行的流畅与稳定。通过多个写入文件,可以实现并发的对数据的增删改操作。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京中搜网络技术股份有限公司,未经北京中搜网络技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201110319561.4/2.html,转载请声明来源钻瓜专利网。
- 上一篇:分类文件的方法及系统
- 下一篇:数据搜索方法和装置