[发明专利]一种基于分布式内存网格的数据存储系统有效
申请号: | 202010003544.9 | 申请日: | 2020-01-03 |
公开(公告)号: | CN110795605B | 公开(公告)日: | 2020-05-12 |
发明(设计)人: | 张春林;李蕾;于洋;李利军;李青春 | 申请(专利权)人: | 北京东方通科技股份有限公司 |
主分类号: | G06F16/901 | 分类号: | G06F16/901 |
代理公司: | 北京冠和权律师事务所 11399 | 代理人: | 陈国军 |
地址: | 100000 北京市丰台*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 分布式 内存 网格 数据 存储系统 | ||
1.一种基于分布式内存网格的数据存储系统,其特征在于,包括:
构建模块,用于构建分布式内存网格;
获取模块,用于获取所述分布式内存网格中每个所述内存网格的网格信息和每个所述内存网格的存储节点;
切割模块,用于对目标数据进行区域块切割处理,并得到预设数目个目标区域块;
控制模块,用于控制所述获取模块获取的每个所述内存网格的网格信息和所述切割模得到的预设数目个目标区域块进行匹配处理;
根据匹配处理结果,将每个所述目标区域块中的目标数据存储到对应的所述内存网格的存储节点中;
所述数据存储系统,还包括:
检测模块,用于对所述内存网格的存储节点进行检测;
所述控制模块,还用于根据所述检测模块的检测结果,判断所述存储节点是否异常;
若是,对所述存储节点进行异常标注,并删除所述异常标注的存储节点对应的内存网格的网格信息,同时,基于预先存储的网格修复数据库和节点修复数据库,对所删除的网格信息进行网格修复处理,并对所述异常标注的存储节点进行节点修复处理;
否则,控制所述存储节点继续工作;
所述控制模块,还用于在删除所述异常标注的存储节点对应的内存网格的网格信息之前,判断所述异常标注的存储节点中是否存储有所述目标区域块的目标数据;
若是,控制检查模块进行工作;
否则,继续执行相应的后续操作;
所述检查模块,用于检查并获取所述构建模块所构建的分布式内存网格中未存储有所述目标区域块的目标数据的空白内存网格;
所述控制模块,还用于将所述异常标注的存储节点中存储的目标区域块的目标数据,传输到所述空白内存网格的存储节点中进行暂储;
当所删除的内存网格的网格信息进行网格修复处理成功,且所述异常标注的存储节点进行节点修复处理成功后,将所述空白内存网格的存储节点中存储的所述目标区域块的目标数据传输到修复处理成功后的所述内存网格的存储节点中,并清空所述空白内存网格的存储节点中存储的所述目标区域块的目标数据;
否则,剔除所述异常标注的存储节点,并在所述异常标注的位置处的内存网格中构造新的网格信息和存储节点,同时,替换所述空白内存网格的网格信息为所述新的网格信息,并将所述目标区域块的目标数据继续保留在所述空白内存网格的存储节点中;
所述切割模块,对目标数据进行区域块切割处理,并得到预设数目个目标区域块之后,还包括对得到的所述预设数目个目标区域块中的目标数据进行数据验证,其步骤包括:
步骤A1:根据公式(1)确定每个所述目标区域块中的目标数据的缺陷值Si;
其中,Si表示第i个目标区域块中的目标数据的缺陷值;j表示第i个目标区域块中的目标数据所包含的m个数据列中的第j个数据列;ξi表示第i个目标区域块的缺陷修正值;Pi,j表示第i个目标区域块中的第j个数据列的缺陷概率值;Pi+1,j表示第i+1个目标区域块中的第j个数据列的缺陷概率值;Pi+1,j+1表示第i+1个目标区域块中的第j+1个数据列的缺陷概率值;Pi,j+1表示第i个目标区域块中的第j+1个数据列的缺陷概率值;
步骤A2:当所述步骤A1所确定的缺陷值Si小于或等于预设值Si′时,确定所述缺陷值Si对应的目标区域块中的目标数据的目标数据检查值,并根据公式(2)对所述目标数据检查值进行修正处理,得到目标数据修正值fi;
其中,q表示第j个数据列中包含的z个数据中的第q个数据;δjq表示第j个数据列中的第q个数据的数据修正值;Gi表示第i个目标区域块的区域修正值;gjq表示第j个数据列中的第q个数据的数据参数值;ΔBi表示第i个目标数据块的区域差值;
步骤A3:根据公式(3)确定所述步骤A2所获取的目标数据修正值fi进行数据验证,并判断是否存在病毒数据;
其中,i表示n个目标区域块中的第i个目标区域块;fi表示第i个目标区域块中的目标数据修正值;表示标准数据检查值;
当F为1时,表明第i个目标区域块中的目标数据中存在病毒数据,并对所述病毒数据进行剔除,进行并将剔除后的所述目标数据存储到目标数据库中;
当F为0时,表明第i个目标区域块中的目标数据中不存在病毒数据,并将所述不存在病毒数据的目标数据存储到目标数据库中。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京东方通科技股份有限公司,未经北京东方通科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010003544.9/1.html,转载请声明来源钻瓜专利网。