[发明专利]一种数据分类存储方法、系统、终端及存储介质有效
申请号: | 202011465093.7 | 申请日: | 2020-12-14 |
公开(公告)号: | CN112463074B | 公开(公告)日: | 2023-01-10 |
发明(设计)人: | 刘宾 | 申请(专利权)人: | 苏州浪潮智能科技有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 济南舜源专利事务所有限公司 37205 | 代理人: | 孙玉营 |
地址: | 215100 江苏省苏州市吴*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 分类 存储 方法 系统 终端 介质 | ||
1.一种数据分类存储方法,其特征在于,包括:
将数据按访问频率大小划分为多种数据种类,并设置各数据种类对应的存储介质类型;
利用质心距离计算方法获取待存储数据所属的实际数据种类;
根据所述待存储数据的实际数据种类,将所述待存储数据保存至类型与所述实际数据种类对应的存储介质中;
所述将数据按访问频率大小划分为多种数据种类并设置各数据种类对应的存储介质类型,包括:
设置目标分类种类,所述目标分类种类包括极热数据、热数据、高温数据、中温数据、低温数据、冷数据、极冷数据;
预先准备包括各种数据种类的频率数据集合;
利用聚类算法对所述频率数据集合进行聚类,得到各数据种类对应的频率质心;
设置极冷数据对应低性能机械硬盘,冷数据对应高性能机械硬盘,低温数据对应低性能固态硬盘,温数据对应中性能固态硬盘,高温数据对应高性能固态硬盘,热数据对应非易失性内存,极热数据对应内存;
所述方法还包括:
采集当前内存可用资源和极热数据量;
若当前内存可用资源低于预设阈值,则根据极热数据量将非易失性内存的相应容量资源划分为内存模式;
所述非易失性内存的非内存模式部分采用固态硬盘模式。
2.根据权利要求1所述的方法,其特征在于,所述利用质心距离计算方法获取待存储数据所属的实际数据种类,包括:
获取待存储数据的实际访问频率;
分别计算所述实际访问频率与各数据种类频率质心的距离;
筛选出最小距离,并将所述最小距离对应的数据种类作为所述待存储数据所属的实际数据种类。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
判断极热数据和热数据中是否存在重要数据:
若是,则将重要数据备份至机械硬盘的低性能部分。
4.一种数据分类存储系统,其特征在于,包括:
分类设置单元,配置用于将数据按访问频率大小划分为多种数据种类,并设置各数据种类对应的存储介质类型;
分类获取单元,配置用于利用质心距离计算方法获取待存储数据所属的实际数据种类;
分类存储单元,配置用于根据所述待存储数据的实际数据种类,将所述待存储数据保存至类型与所述实际数据种类对应的存储介质中;
所述分类设置单元包括:
目标分类模块,配置用于设置目标分类种类,所述目标分类种类包括极热数据、热数据、高温数据、中温数据、低温数据、冷数据、极冷数据;
集合准备模块,配置用于预先准备包括各种数据种类的频率数据集合;
质心计算模块,配置用于利用聚类算法对所述频率数据集合进行聚类,得到各数据种类对应的频率质心;
对应设置模块,配置用于设置极冷数据对应低性能机械硬盘,冷数据对应高性能机械硬盘,低温数据对应低性能固态硬盘,温数据对应中性能固态硬盘,高温数据对应高性能固态硬盘,热数据对应非易失性内存,极热数据对应内存;
所述系统还用于:
采集当前内存可用资源和极热数据量;
若当前内存可用资源低于预设阈值,则根据极热数据量将非易失性内存的相应容量资源划分为内存模式;
所述非易失性内存的非内存模式部分采用固态硬盘模式。
5.根据权利要求4所述的系统,其特征在于,所述分类获取单元包括:
频率获取模块,配置用于获取待存储数据的实际访问频率;
距离计算模块,配置用于分别计算所述实际访问频率与各数据种类频率质心的距离;
种类筛选模块,配置用于筛选出最小距离,并将所述最小距离对应的数据种类作为所述待存储数据所属的实际数据种类。
6.一种终端,其特征在于,包括:
处理器;
用于存储处理器的执行指令的存储器;
其中,所述处理器被配置为执行权利要求1-3任一项所述的方法。
7.一种存储有计算机程序的计算机可读存储介质,其特征在于,该程序被处理器执行时实现如权利要求1-3中任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于苏州浪潮智能科技有限公司,未经苏州浪潮智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011465093.7/1.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置