[发明专利]一种基于分布式多节点的数据管理方法及系统

说明书

本发明公开一种基于测量报告邻区列表进行定位方法，包括以下步骤，对目标对象数据状况进行监控；在达到用户预设的阈值条件时，对目标对象数据依照用户预设的数据管理方式进行处理；数据处理达到用户预设的解除阈值条件时，对目标对象实施解除数据管理方式。本发明还提供一种基于分布式多节点的数据管理系统，实现有限存储资源条件下依照用户设定对分布式多节点保存的用户数据进行合理的数据管理，从而为用户的重要数据提供保证。

技术领域

本发明涉及计算机应用技术领域，尤其涉及基于分布式多节点的数据管理方法及系统。

背景技术

现有的分布式多节点的数据管理方法通常依照数据的类别划分为不同的索引并将同一索引的数据划分为几个分片分布式的分配在不同的节点上，实现数据的分布式多节点存储。在每个节点的存储设备数量和配置固定时，即为一个有限存储资源的数据管理场景。

当存在数据大小超过存储资源配置的情况时，当前的分布式多节点数据管理方法存在的垃圾回收机制通常能够对系统缓存进行清理，但其无法对用户数据进行合理的处理，这导致能够清理出的磁盘存储空间有限，可能导致后续产生的重要数据因存储资源已满无法继续录入的问题。此外，在有限存储资源的数据管理场景下，因不同重要程度的索引数据共用总大小一定的磁盘空间，不同重要程度的索引数据之间存在存储空间资源抢占问题，即部分数据量大但不重要的数据索引会抢占大量磁盘存储空间导致重要程度较高的索引数据无法录入，为避免此状况的发生，需要基于用户设定进行分布式多节点的索引存储空间管理。

发明内容

为了解决上述技术问题，本发明提供一种基于分布式多节点的数据管理方法及系统，以此实现在有限存储资源条件下依照用户设定对分布式多节点保存的用户数据进行合理的数据管理，从而为用户的重要数据提供保证。

为达到上述目的，本发明提供的基于分布式多节点的数据管理方法，包括以下步骤：

对目标对象数据状况进行监控；

在达到用户预设的阈值条件时，对目标对象数据依照用户预设的数据管理方式进行处理；

数据处理达到用户预设的解除阈值条件时，对目标对象实施解除数据管理方式

进一步地，目标对象包括，

存储数据的集群、构成集群的节点以及区分数据类别的索引；

进一步地，用户预设的阈值条件，包括目标对象的存储空间清理百分比和数据的最大保存周期。

进一步地，数据管理方式，包括，对目标对象内的数据依照用户预设的方式进行清理以及对目标对象设置只读模式，限制目标对象的数据录入。

进一步地，依照用户预设的方式进行清理，包括，对集群和节点设置只读模式，对索引设置只读或以时间划分方式删除索引；的以时间划分方式删除索引，是对索引进行归类，判断是否为以时间划分且相互关联的，结构相同的一系列索引，若是则再判定是否存在超过用户预设数据最大保存周期的数据，进行删除；当达到存储阈值时，删除其中时间最早的索引并判断是否满足解除阈值条件直到满足为止；若不是以时间划分且相互关联的索引，当达到存储阈值时删除整个索引。

进一步地，在达到用户预设的阈值条件时，对目标对象数据依照用户预设的数据管理方式进行处理的步骤，还包括，

目标对象的存储空间清理百分比和数据的最大保存周期达到阈值条件；

对目标对象数据进行只读处理、非时间关联的索引删除或基于时间关联的索引删除。

进一步地，只读处理，还包括，

在目标对象达到用户预设的阈值条件时，设置为只读；

在目标对象达到用户预设的解除阈值条件，取消只读。

进一步地，非时间关联的索引删除，还包括，