[发明专利]数据处理方法和装置、存储介质和电子设备在审
申请号: | 202011458102.X | 申请日: | 2020-12-10 |
公开(公告)号: | CN112558872A | 公开(公告)日: | 2021-03-26 |
发明(设计)人: | 牟童;王诗鈞;徐石成;何光宇 | 申请(专利权)人: | 东软集团股份有限公司 |
主分类号: | G06F3/06 | 分类号: | G06F3/06 |
代理公司: | 北京英创嘉友知识产权代理事务所(普通合伙) 11447 | 代理人: | 温易娜 |
地址: | 110179 辽*** | 国省代码: | 辽宁;21 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 装置 存储 介质 电子设备 | ||
本公开涉及一种数据处理方法和装置、存储介质和电子设备,所述方法应用于区块链网络中的节点,所述方法包括:确定各待处理的数据块的调用操作和和各调用操作对应的调用时刻;基于所述调用操作和所述调用时刻,确定各所述数据块的调用分值;基于所述调用分值,将各数据块从原始存储区移入与该数据块的调用分值所对应的存储区域;其中,所述存储区域包括用于存储高调用频率的数据块的热存储区域,和用于存储低调用频率的数据块的冷存储区域,所述热存储区域的读写速度高于所述冷存储区域。本公开可以解决区块链网络数据过多难以存储的问题。
技术领域
本公开涉及数据处理领域,具体地,涉及一种数据处理方法和装置、存储介质和电子设备。
背景技术
区块链具有“不可伪造”“全程留痕”“可以追溯”“公开透明”“集体维护”等特征,其信息的高安全性使其在很多场景下具有广阔的应用前景。
但是,由于区块链网络需要存储大量的数据,且随着使用的增多,数据量也会变得更加庞大,而由于存储资源的价格不菲,进行存储空间的扩容则需要耗费大量的成本,这阻碍了区块链网络的应用。
发明内容
本公开的目的是提供一种数据处理方法和装置、存储介质和电子设备,用于解决上述的技术问题。
为了实现上述目的,本公开的第一方面,提供一种数据处理方法,所述方法应用于区块链网络中的节点,所述方法包括:确定各待处理的数据块的调用操作和和各调用操作对应的调用时刻;基于所述调用操作和所述调用时刻,确定各所述数据块的调用分值;基于所述调用分值,将各数据块从原始存储区移入与该数据块的调用分值所对应的存储区域;其中,所述存储区域包括用于存储高调用频率的数据块的热存储区域,和用于存储低调用频率的数据块的冷存储区域,所述热存储区域的读写速度高于所述冷存储区域。
可选地,所述基于所述调用操作和所述调用时刻,确定各所述数据块的调用分值,包括:针对各数据块,根据该数据块的各调用操作对应的调用时刻所处的时间段,确定各时间段对应的操作频率;基于各时间段对应的权重值和该时间段对应的操作频率,计算该数据块在各时间段内的单位分值;确定各所述单位分值的总分为所述调用分值。
可选地,所述针对各数据块,根据该数据块的各调用操作对应的调用时刻所处的时间段,确定各时间段对应的操作频率,包括:确定各数据块的存入时长,并判断所述各数据块的存入时长是否小于预设时长;针对所述存入时长大于或等于所述预设时长的数据块,根据该数据块的各调用操作对应的调用时刻所处的时间段,确定各时间段对应的操作频率;所述方法还包括:针对所述存入时长小于所述预设时长的数据块,将该数据块的调用操作的总量和该数据块对应的存入时长的比值作为该数据块的调用分值。
可选地,所述时间段对应任意数据块的权重值是基于该数据块的写入时刻与该时间段之间的时长确定的,其中,所述权重值与所述时长正相关。
可选地,在将各数据块从原始存储区移入与该数据块的调用分值所对应的存储区域之后,所述方法还包括:确定所述热存储区域中的低调用频率的数据块,并将该低调用频率的数据块移入冷存储区域中;和/或,确定所述冷存储区域中的高调用频率的数据块,并将该高调用频率的数据块移入热存储区域中。
可选地,所述方法还包括:在原始存储区存储建立与各数据块对应的映射文件,所述映射文件用于基于查询请求从热存储区域或冷存储区域中调用与所述查询请求对应的数据块中的数据。
可选地,所述确定各待处理的数据块的调用操作和和各调用操作对应的调用时刻,包括:响应于预设归档条件,确定各待处理的数据块的调用操作和和各调用操作对应的调用时刻;其中,所述预设归档条件包括:获取到归档指令,或者到达预设归档时刻,或者原始存储区中的数据量到达归档阈值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于东软集团股份有限公司,未经东软集团股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011458102.X/2.html,转载请声明来源钻瓜专利网。
- 上一篇:基于消息队列和共享内存方式实现进程间数据交互的方法
- 下一篇:电池模组和汽车