[发明专利]一种数据存储的优化方法及其系统有效

专利信息
申请号: 202110463394.4 申请日: 2021-04-28
公开(公告)号: CN112883016B 公开(公告)日: 2021-07-20
发明(设计)人: 孙利国 申请(专利权)人: 睿至科技集团有限公司
主分类号: G06F16/21 分类号: G06F16/21;G06F16/27;G06F16/2453;G06F21/62;G06F21/60
代理公司: 北京卓特专利代理事务所(普通合伙) 11572 代理人: 段旺
地址: 100005 北京市东城区*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 数据 存储 优化 方法 及其 系统
【权利要求书】:

1.一种数据存储的优化方法,其特征在于,具体包括以下步骤:

接收数据,对数据进行检索;

响应于完成数据检索,判断数据是否能够正常存储在系统节点中;

若数据不能正常存储在系统节点中,进行节点的增加,同时对节点进行检测处理;

对传输链路进行检测,同时进行数据的存储;

其中进行节点的增加,同时对节点进行检测处理,包括以下子步骤:

确定在存储过程中系统节点的最小带宽开销;

引入系统节点的最小存储开销,系统节点的最小存储开销是预先设定的数值,根据系统的最小存储开销与系统节点的最小带宽开销,获取数据能够存储在系统节点中的关系等式,即:

其中,M表示接收数据的数据量,k表示系统的节点个数,d表示存储数据能够实现存储的存储节点个数,i为活跃节点个数,表示系统节点的最小存储开销,表示系统节点的最小带宽开销;

根据上述关系等式可求解出带宽开销的最小值,即:

其中,,M表示接收数据的数据量,k表示系统的节点个数,i为活跃节点个数,表示系统节点的最小存储开销,d表示存储数据能够实现存储的存储节点个数;

根据系统节点的最小带宽开销,进行多个新节点的增加;

将多个新节点划分为忙碌节点和空闲节点;

其中根据新增节点的数量来将部分新节点作为忙碌节点,将剩余新节点作为空闲节点;

确定活跃节点中是否存在失效节点;

通过判断在传输信息的过程中累积的传输数据的数量是否超过指定的累积阈值,如果超过指定的累积阈值,则说明该节点累积了过多的需要传输的数据,则该活跃节点被判定为失效节点;

若存在失效节点,则使用忙碌节点从失效节点中拷贝数据;

检测存储节点是否传输其他未进行存储的数据;

其中若存储节点中还传输其他未进行存储的新数据,则使用空闲节点存储未进行存储的新数据。

2.如权利要求1所述的数据存储的优化方法,其特征在于,若数据能正常存储在系统节点中,将接收的数据依次存储在存储节点中。

3.如权利要求1所述的数据存储的优化方法,其特征在于,对数据进行检索包括对数据进行聚合检索以及对数据进行连续检索。

4.如权利要求3所述的数据存储的优化方法,其特征在于,检索的数据具有标称属性、二元属性、序数属性、数值属性以及离散属性与连续属性中的至少一种属性。

5.如权利要求1所述的数据存储的优化方法,其特征在于,多个系统节点中包含一个源节点、多个中间节点和多个存储节点;源节点连接中间节点和存储节点,中间节点将数据由源节点传输至存储节点,并随机分布存储在若干存储节点中,当存储节点被存储数据后,该存储节点变为活跃节点。

6.如权利要求1所述的数据存储的优化方法,其特征在于,在判断数据能够正常存储在系统节点之前,还包括,选择有效的中间节点。

7.如权利要求6所述的数据存储的优化方法,其特征在于,响应于完成有效的中间节点的选择,判断系统节点的容量是否能够满足接收的数据的数据量,若接收数据的数据量M满足,则数据不能够正常存储在系统节点;其中,k表示系统的节点个数,d表示存储数据能够实现存储的存储节点个数,表示系统节点的存储容量,表示每个存储节点中的数据的数据量,i为活跃节点个数。

8.一种数据存储的优化系统,其特征在于,包括检索单元、判断单元、节点检测单元以及链路检测单元;

检索单元,用于接收数据,对数据进行检索;

判断单元,用于响应于完成数据检索,判断数据是否能够正常存储在系统节点中;

节点检测单元,用于若数据不能够正常存储在系统节点中,进行节点的增加,同时对节点进行检测处理;

链路检测单元,用于对传输链路进行检测,同时进行数据的存储;

节点检测单元中,还执行以下子步骤:

确定在存储过程中系统节点的最小带宽开销;

引入系统节点的最小存储开销,系统节点的最小存储开销是预先设定的数值,根据系统的最小存储开销与系统节点的最小带宽开销,获取数据能够存储在系统节点中的关系等式,即:

其中,M表示接收数据的数据量,k表示系统的节点个数,d表示存储数据能够实现存储的存储节点个数,i为活跃节点个数,表示系统节点的最小存储开销,表示系统节点的最小带宽开销;

根据上述关系等式可求解出带宽开销的最小值,即:

其中,,M表示接收数据的数据量,k表示系统的节点个数,i为活跃节点个数,表示系统节点的最小存储开销,d表示存储数据能够实现存储的存储节点个数;

根据系统节点的最小带宽开销,进行多个新节点的增加;

将多个新节点划分为忙碌节点和空闲节点;

其中根据新增节点的数量来将部分新节点作为忙碌节点,将剩余新节点作为空闲节点;

确定活跃节点中是否存在失效节点;

通过判断在传输信息的过程中累积的传输数据的数量是否超过指定的累积阈值,如果超过指定的累积阈值,则说明该节点累积了过多的需要传输的数据,则该活跃节点被判定为失效节点;

若存在失效节点,则使用忙碌节点从失效节点中拷贝数据;

检测存储节点是否传输其他未进行存储的数据;

其中若存储节点中还传输其他未进行存储的新数据,则使用空闲节点存储未进行存储的新数据。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于睿至科技集团有限公司,未经睿至科技集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202110463394.4/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top