[发明专利]一种基于多双活存储的数据处理方法、系统及介质有效
申请号: | 202110181335.8 | 申请日: | 2021-02-10 |
公开(公告)号: | CN113031858B | 公开(公告)日: | 2022-09-20 |
发明(设计)人: | 闫涛 | 申请(专利权)人: | 山东英信计算机技术有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06;G06F21/60;G06F21/78 |
代理公司: | 北京权智天下知识产权代理事务所(普通合伙) 11638 | 代理人: | 王新爱 |
地址: | 250101 山东省济南市高新区*** | 国省代码: | 山东;37 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 多双活 存储 数据处理 方法 系统 介质 | ||
1.一种基于多双活存储的数据处理方法,其特征在于,包括以下步骤:
获取业务需求,基于所述业务需求创建双活卷以及设定第一资源阈值,根据所述第一资源阈值创建与所述双活卷对应的缓存分区;
获取与所述业务需求对应的第一业务数据,基于所述缓存分区对所述第一业务数据执行数据重构步骤,得到第二业务数据;
基于所述缓存分区对所述第二业务数据执行算法处理步骤,基于所述算法处理步骤将所述第二业务数据存储至所述双活卷;
设定统计周期,所述第二业务数据存储至所述双活卷后,每隔所述统计周期执行统计步骤,基于所述统计步骤对所述缓存分区执行保存步骤或调整步骤;
所述获取业务需求,基于所述业务需求创建双活卷以及设定第一资源阈值,根据所述第一资源阈值创建与所述双活卷对应的缓存分区的步骤进一步包括:
判断所述业务需求的业务类型,创建与所述业务类型对应的双活卷;
设定与所述业务类型对应的第一资源阈值,创建与所述双活卷对应的数据处理容器,基于所述第一资源阈值为所述数据处理容器配置对应的存储资源和地址指针,得到待划分缓存区;将所述待划分缓存区划分为读分区和写分区,设定划分后的所述待划分缓存区为所述缓存分区;
所述数据重构步骤包括:
设定第二资源阈值和第一数量;根据所述第一业务数据所对应的所述业务需求选取所述缓存分区;根据所述第一业务数据的数据类型将所述第一业务数据划分为读数据和写数据;采用预读算法将所述读数据存储至被选取的所述缓存分区的所述读分区中;待所述读数据存储至选取的所述缓存分区的所述读分区后,通过被选取的所述缓存分区按照所述第一数量将所述写数据划分为若干第二数据;通过所述被选取的所述缓存分区获取所述第二数据的资源占用值,并基于所述第二资源阈值和所述资源占用值将所述第二数据聚合为若干所述第二业务数据;
所述算法处理步骤包括:采用哈夫曼算法对所述第二业务数据进行压缩,得到压缩数据;采用对称加密算法对所述压缩数据进行加密,得到第三业务数据;通过所述被选取的所述缓存分区将所述第三业务数据存储至与所述被选取的所述缓存分区对应的所述双活卷。
2.根据权利要求1所述的基于多双活存储的数据处理方法,其特征在于:所述统计步骤包括:
获取所述业务需求的初始性能指标和所述业务需求所对应的缓存分区的现有性能参数;
比对所述现有性能参数是否均达到所述初始性能指标;若均达到,则对所述缓存分区执行所述保存步骤;若未均达到,则对所述缓存分区执行所述调整步骤。
3.根据权利要求2所述的基于多双活存储的数据处理方法,其特征在于:所述调整步骤包括:
定义所述现有性能参数中达到所述初始性能指标的现有性能参数为第一性能参数,定义所述第一性能参数所对应的缓存分区为第一分区,定义所述第一分区所对应的所述地址指针为第一地址指针;
定义所述现有性能参数中未达到所述初始性能指标的现有性能参数为第二性能参数,定义所述第二性能参数所对应的缓存分区为第二分区,定义所述第二分区所对应的所述地址指针为第二地址指针;
根据所述第一分区所对应的所述存储资源和所述第一性能参数计算所述第一分区的空闲存储资源;
设定第三资源阈值,根据所述第二分区所对应的所述双活卷所对应的业务类型设定分配优先级;
按照所述分配优先级将与所述第三资源阈值对应数值的所述空闲存储资源分配至所述第二分区;
所述空闲存储资源分配至所述第二分区后,获取所述第一分区的第一现有存储资源和所述第二分区的第二现有存储资源,根据所述第一现有存储资源和所述第二现有存储资源分别修改所述第一地址指针和所述第二地址指针。
4.根据权利要求2或3所述的基于多双活存储的数据处理方法,其特征在于:所述保存步骤包括:
锁定所述缓存分区所对应的所述地址指针,固化所述缓存分区所对应的所述存储资源。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于山东英信计算机技术有限公司,未经山东英信计算机技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110181335.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:自动分拣检测装置
- 下一篇:一种AI平台资源切换方法、系统及介质