[发明专利]一种数据存储的优化方法及其系统有效
申请号: | 202110463394.4 | 申请日: | 2021-04-28 |
公开(公告)号: | CN112883016B | 公开(公告)日: | 2021-07-20 |
发明(设计)人: | 孙利国 | 申请(专利权)人: | 睿至科技集团有限公司 |
主分类号: | G06F16/21 | 分类号: | G06F16/21;G06F16/27;G06F16/2453;G06F21/62;G06F21/60 |
代理公司: | 北京卓特专利代理事务所(普通合伙) 11572 | 代理人: | 段旺 |
地址: | 100005 北京市东城区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 存储 优化 方法 及其 系统 | ||
1.一种数据存储的优化方法,其特征在于,具体包括以下步骤:
接收数据,对数据进行检索;
响应于完成数据检索,判断数据是否能够正常存储在系统节点中;
若数据不能正常存储在系统节点中,进行节点的增加,同时对节点进行检测处理;
对传输链路进行检测,同时进行数据的存储;
其中进行节点的增加,同时对节点进行检测处理,包括以下子步骤:
确定在存储过程中系统节点的最小带宽开销;
引入系统节点的最小存储开销,系统节点的最小存储开销是预先设定的数值,根据系统的最小存储开销与系统节点的最小带宽开销,获取数据能够存储在系统节点中的关系等式,即:
其中,M表示接收数据的数据量,k表示系统的节点个数,d表示存储数据能够实现存储的存储节点个数,i为活跃节点个数,表示系统节点的最小存储开销,表示系统节点的最小带宽开销;
根据上述关系等式可求解出带宽开销的最小值,即:
其中,,M表示接收数据的数据量,k表示系统的节点个数,i为活跃节点个数,表示系统节点的最小存储开销,d表示存储数据能够实现存储的存储节点个数;
根据系统节点的最小带宽开销,进行多个新节点的增加;
将多个新节点划分为忙碌节点和空闲节点;
其中根据新增节点的数量来将部分新节点作为忙碌节点,将剩余新节点作为空闲节点;
确定活跃节点中是否存在失效节点;
通过判断在传输信息的过程中累积的传输数据的数量是否超过指定的累积阈值,如果超过指定的累积阈值,则说明该节点累积了过多的需要传输的数据,则该活跃节点被判定为失效节点;
若存在失效节点,则使用忙碌节点从失效节点中拷贝数据;
检测存储节点是否传输其他未进行存储的数据;
其中若存储节点中还传输其他未进行存储的新数据,则使用空闲节点存储未进行存储的新数据。
2.如权利要求1所述的数据存储的优化方法,其特征在于,若数据能正常存储在系统节点中,将接收的数据依次存储在存储节点中。
3.如权利要求1所述的数据存储的优化方法,其特征在于,对数据进行检索包括对数据进行聚合检索以及对数据进行连续检索。
4.如权利要求3所述的数据存储的优化方法,其特征在于,检索的数据具有标称属性、二元属性、序数属性、数值属性以及离散属性与连续属性中的至少一种属性。
5.如权利要求1所述的数据存储的优化方法,其特征在于,多个系统节点中包含一个源节点、多个中间节点和多个存储节点;源节点连接中间节点和存储节点,中间节点将数据由源节点传输至存储节点,并随机分布存储在若干存储节点中,当存储节点被存储数据后,该存储节点变为活跃节点。
6.如权利要求1所述的数据存储的优化方法,其特征在于,在判断数据能够正常存储在系统节点之前,还包括,选择有效的中间节点。
7.如权利要求6所述的数据存储的优化方法,其特征在于,响应于完成有效的中间节点的选择,判断系统节点的容量是否能够满足接收的数据的数据量,若接收数据的数据量M满足,则数据不能够正常存储在系统节点;其中,k表示系统的节点个数,d表示存储数据能够实现存储的存储节点个数,表示系统节点的存储容量,表示每个存储节点中的数据的数据量,i为活跃节点个数。
8.一种数据存储的优化系统,其特征在于,包括检索单元、判断单元、节点检测单元以及链路检测单元;
检索单元,用于接收数据,对数据进行检索;
判断单元,用于响应于完成数据检索,判断数据是否能够正常存储在系统节点中;
节点检测单元,用于若数据不能够正常存储在系统节点中,进行节点的增加,同时对节点进行检测处理;
链路检测单元,用于对传输链路进行检测,同时进行数据的存储;
节点检测单元中,还执行以下子步骤:
确定在存储过程中系统节点的最小带宽开销;
引入系统节点的最小存储开销,系统节点的最小存储开销是预先设定的数值,根据系统的最小存储开销与系统节点的最小带宽开销,获取数据能够存储在系统节点中的关系等式,即:
其中,M表示接收数据的数据量,k表示系统的节点个数,d表示存储数据能够实现存储的存储节点个数,i为活跃节点个数,表示系统节点的最小存储开销,表示系统节点的最小带宽开销;
根据上述关系等式可求解出带宽开销的最小值,即:
其中,,M表示接收数据的数据量,k表示系统的节点个数,i为活跃节点个数,表示系统节点的最小存储开销,d表示存储数据能够实现存储的存储节点个数;
根据系统节点的最小带宽开销,进行多个新节点的增加;
将多个新节点划分为忙碌节点和空闲节点;
其中根据新增节点的数量来将部分新节点作为忙碌节点,将剩余新节点作为空闲节点;
确定活跃节点中是否存在失效节点;
通过判断在传输信息的过程中累积的传输数据的数量是否超过指定的累积阈值,如果超过指定的累积阈值,则说明该节点累积了过多的需要传输的数据,则该活跃节点被判定为失效节点;
若存在失效节点,则使用忙碌节点从失效节点中拷贝数据;
检测存储节点是否传输其他未进行存储的数据;
其中若存储节点中还传输其他未进行存储的新数据,则使用空闲节点存储未进行存储的新数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于睿至科技集团有限公司,未经睿至科技集团有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110463394.4/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置