[发明专利]一种面向集群架构的数据管理系统

摘要

本发明公开了一种面向集群架构的数据管理系统，包括数据检索系统、数据压缩系统、老化数据管理系统；数据检索系统采用全文检索与索引检索相结合的方式，数据压缩系统根据判断数据不同的用途与特点采取不同的压缩方式，老化数据管理系统通过特有的算法，针对不同的历史数据采取不同的处理方式；本发明一种面向集群架构的数据管理系统，通过数据检索系统的设置，有效达到提升针对海量数据的查询效率与速度通过数据压缩系统的设置，根据数据不同类型采取不同的压缩方式，达到了释放系统空间，提升数据传输速率的目的；通过老化数据管理系统的设置，有效清除并采取应对措施管理系统中的老化数据，提升了系统存储空间的使用效率，延长了系统的使用寿命。

主权项

一种面向集群架构的数据管理系统，其特征在于，包括数据检索系统、数据压缩系统、老化数据管理系统；数据检索系统：首先根据不同的数据类型，建立各自的索引库；当用户检索时，根据用户的输入关键字，首先判定采用全文检索与索引检索分别需要走的步数，采用步数较少的方式作为该次检索采用的检索方式；数据压缩系统：根据不同的文件特点，经判定后采用不同的压缩方式；当预判文件压缩后的体积小于200M时，采用gzip压缩；当预判文件压缩后的体积大于200M时，采用lzo压缩；在传输数据的过程中，当传输的数据量过大以致影响传输效率时，采用snappy对传输的数据进行压缩；当文件长达一个月未被使用且占用空间较大时，采用bzip2压缩；老化数据管理系统：首先根据数据老化因子判定数据是否属于老化数据，若数据被判定属于老化数据，则根据数据老化因子计算判定其老化数据类型，若判定属于重复类型的老化数据，则系统直接将重复数据删除；如果判定属于非重复类型的老化数据，则通过其数据老化因子的计算判定对其进行转移存储或压缩存储。