[发明专利]一种数据存储的优化方法及其系统

说明书

本申请公开了一种数据存储的优化方法及其系统，其中数据存储的优化方法具体包括以下步骤：接收数据，对数据进行检索；响应于完成数据检索，判断数据是否能够正常存储在系统节点中；若数据不能正常存储在系统节点中，进行节点的增加，同时对节点进行检测处理；对传输链路进行检测，同时进行数据的存储。本申请能够对接收的数据进行有效的存储，在存储过程中，不断对存储节点进行检测，实现了数据在存储过程中的优化，同时也能够最大程度上降低系统的能耗。

技术领域

本申请涉及数据处理领域，具体地，涉及一种数据存储的优化方法及其系统。

背景技术

随着数据的爆炸式增长，分布式存储系统如何对海量数据有效的进行查询、写入等处理成为了数据存储领域的研究重点。目前数据存储的方式主要是，通过设置一大型数据库来专用的存储海量数据，这种数据存储方式，虽然可通过大型数据库满足海量数据的高存储量要求，但从大型数据库中查询、写入某一数据的效率大幅的降低，牺牲了数据处理效率。

因此如何在兼顾数据处理效率，和海量数据的高存储量要求的情况下，实现数据的存储和处理，成为本领域技术人员急需解决的问题。

发明内容

本申请提供了一种数据存储的优化方法，其特征在于，具体包括以下步骤：接收数据，对数据进行检索；响应于完成数据检索，判断数据是否能够正常存储在系统节点中；若数据不能正常存储在系统节点中，进行节点的增加，同时对节点进行检测处理；对传输链路进行检测，同时进行数据的存储。

如上的，其中，若数据能正常存储在系统节点中，将接收的数据依次存储在存储节点中。

如上的，其中，对数据进行检索包括对数据进行聚合检索以及对数据进行连续检索。

如上的，其中，具体检索数据是否具有标称属性、二元属性、序数属性、数值属性以及离散属性与连续属性中的至少一种属性。

如上的，其中，多个系统节点中包含一个源节点、多个中间节点和多个存储节点；源节点连接中间节点和存储节点，中间节点将数据由源节点传输至存储节点，并随机分布存储在若干存储节点中，当存储节点被存储数据后，该存储节点变为活跃节点。

如上的，其中，在判断数据能够正常存储在系统节点之前，还包括，选择有效的中间节点。

如上的，其中，响应于完成有效的中间节点的选择，判断系统节点的容量是否能够满足接收的数据的数据量，若接收数据的数据量M满足，则数据不能够正常存储在系统节点；其中，k表示系统的节点个数，d表示存储数据能够实现存储的存储节点个数，表示系统节点的存储容量，表示每个存储节点中的数据的数据量，i为活跃节点个数。

如上的，其中，进行节点的增加，同时对节点进行检测处理具体包括以下子步骤：确定在存储过程中系统节点的最小带宽开销；根据系统节点的最小带宽开销，进行多个新节点的增加。

如上的，其中，在增加新节点后，还包括，将多个新节点划分为忙碌节点和空闲节点。

一种数据存储的优化系统，包括检索单元、判断单元、节点检测单元以及链路检测单元；检索单元，用于接收数据，对数据进行检索；判断单元，用于响应于完成数据检索，判断数据是否能够正常存储在系统节点中；节点检测单元，用于若数据不能够正常存储在系统节点中，进行节点的增加，同时对节点进行检测处理；链路检测单元，用于对传输链路进行检测，同时进行数据的存储。

本申请具有以下有益效果：

本申请提供的数据存储的优化方法及其系统能够对接收的数据进行有效的存储，在存储过程中，不断对存储节点进行检测，实现了数据在存储过程中的优化，同时也能够最大程度上降低系统的能耗。

附图说明