[发明专利]一种冷数据识别方法、装置、设备及介质在审
申请号: | 202211260575.8 | 申请日: | 2022-10-14 |
公开(公告)号: | CN115525638A | 公开(公告)日: | 2022-12-27 |
发明(设计)人: | 史珂宇 | 申请(专利权)人: | 中国农业银行股份有限公司 |
主分类号: | G06F16/215 | 分类号: | G06F16/215;G06F16/901 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 曹伟 |
地址: | 100005 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 数据 识别 方法 装置 设备 介质 | ||
本申请提供一种冷数据识别方法、装置、设备及介质,在当前运行集群中,根据预设扫描范围和预设路径获取多个数据表和用于标识多个数据表的数据表标识,多个数据表包括第一数据表,接收对第一数据表的第一访问请求,判断第一数据表标识是否存在于LRU链表中,若否,将第一数据表标识添加至LRU链表的冷数据区域的头部,LRU链表包括热数据区域和冷数据区域,热数据区域的尾部与冷数据区域的头部相连,LRU链表的靠前部分作为热数据区域,靠后部分作为冷数据区域,根据数据表标识在LRU链表的具体位置,自动识别出冷热数据,首次添加第一数据表标识时,将其加入到LRU链表的冷数据区域的头部,提高冷数据识别的准确度,减少人工干预,提高冷数据识别的效率。
技术领域
本申请涉及计算机技术领域,特别涉及一种冷数据识别方法、装置、设备及介质。
背景技术
在大数据处理的技术领域,随着数据量的不断增长,数据会出现访问热度不同的显著差异,在数据库中被访问频度低的数据被称作冷数据,在数据库中被访问频度高的数据被称作热数据,如果对冷热数据都采用同样的存储策略,是对集群资源的一种浪费,也会给集群存储空间造成很大的压力。
在集群存储空间不足时,只能通知集群用户自己去识别冷数据,并进行清理或转存操作。但是这种方式人工干预过多,且用户在清理数据时很难判断哪些是冷数据,具有主观性,没有形成统一的规则,这导致清理的效果和效率都不如预期。随着数据量不断的提升,应用自动化的不断出现,数据管理也需要相关的自动管理技术手段和方法,以提高数据管理的效率,降低数据维护成本。因此,提供一种准确高效的冷数据识别方法成为目前急需解决的技术问题。
发明内容
有鉴于此,本申请的目的在于提供一种冷数据识别方法、装置、设备及介质,可以提高冷数据识别的准确度,减少了人工干预,提高了冷数据识别的效率。其具体方案如下:
第一方面,本申请提供了一种冷数据识别方法,包括:
在当前运行集群中,根据预设扫描范围和预设路径获取多个数据表和用于标识所述多个数据表的数据表标识;所述多个数据表包括第一数据表;
接收对所述第一数据表的第一访问请求;
判断第一数据表标识是否存在于LRU链表中,若否,则将所述第一数据表标识添加至所述LRU链表的冷数据区域的头部;所述LRU链表包括热数据区域和冷数据区域;所述热数据区域的尾部与所述冷数据区域的头部相连。
第二方面,本申请实施例还提供了一种冷数据识别装置,包括:
获取单元,用于在当前运行集群中,根据预设扫描范围和预设路径获取多个数据表和用于标识所述多个数据表的数据表标识;所述多个数据表包括第一数据表;
第一接收单元,用于接收对所述第一数据表的第一访问请求;
第一确定单元,用于判断第一数据表标识是否存在于LRU链表中,若否,则将所述第一数据表标识添加至所述LRU链表的冷数据区域的头部;所述LRU链表包括热数据区域和冷数据区域;所述热数据区域的尾部与所述冷数据区域的头部相连。
第三方面,本申请实施例还提供了一种计算机设备,所述计算机设备包括处理器以及存储器:
所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
所述处理器用于根据所述程序代码中的指令执行所述的方法。
第四方面,本申请实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储计算机程序,所述计算机程序用于执行所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国农业银行股份有限公司,未经中国农业银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211260575.8/2.html,转载请声明来源钻瓜专利网。
- 数据显示系统、数据中继设备、数据中继方法、数据系统、接收设备和数据读取方法
- 数据记录方法、数据记录装置、数据记录媒体、数据重播方法和数据重播装置
- 数据发送方法、数据发送系统、数据发送装置以及数据结构
- 数据显示系统、数据中继设备、数据中继方法及数据系统
- 数据嵌入装置、数据嵌入方法、数据提取装置及数据提取方法
- 数据管理装置、数据编辑装置、数据阅览装置、数据管理方法、数据编辑方法以及数据阅览方法
- 数据发送和数据接收设备、数据发送和数据接收方法
- 数据发送装置、数据接收装置、数据收发系统、数据发送方法、数据接收方法和数据收发方法
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置
- 数据发送方法、数据再现方法、数据发送装置及数据再现装置