[发明专利]一种数据存储的优化方法

说明书

技术领域

本申请涉及大数据存储领域，特别的，涉及一种数据存储的优化方法，以及一种对数据进行存储的方法。

背景技术

随着互联网技术的发展，网络所使用的数据越来越多。如何对数据进行保存，特别是，如何对海量数据进行保存成为现有技术亟需解决的问题。

目前按照存储的访问方式或者访问存储的响应时长可以将存储分成若干级，比如内存级，响应时长最短，但是单位存储成本最高；memcache集群，响应时长较短，单位存储成本较高；hbase集群，将数据持久化在硬盘上，响应时长较长，单位存储成本较低,等等。

如上所述，互联网服务，例如设计在线接口服务时，通常面临存储数据量大的问题，需要为数据选择合适的存储方式，以求平均响应时长能满足业务需求同时总的存储成本最低，或者在存储成本有限的时，平均响应时长最低。大数据存储通常需要规划多级存储来满足业务需求，将访问频率高的数据存储在成本高响应时长短的存储上，访问频率相对较低的存储在成本较高响应时长较短的存储上，访问频率最低的数据存储在成本最低但是响应时长最大的存储上。

例如：某视频网站有超过数亿的视频资源，在设计根据视频ID获取视频相关信息这个服务时面临着如何优化多级存储的问题，如果选择三级存储，可以将过去一天或者一周内访问次数最高的一部分视频相关信息放在内存；访问次数较高的一部分视频相关信息存储在memcache集群；访问次数相对较低的存储在hbase集群。但是，如何合理选择每部分的比例以达到平均响应时长与总的存储成本的最优化，或者说，如何对数据存储进行优化，以用于降低数据的平均响应时间，进一步的，达到降低数据存储成本，成为现有技术亟需解决的技术问题。

发明内容

本发明的目的在于提出一种数据存储的优化方法，以及利用该优化结果对数据进行存储的方法，通过该方法，可以降低数据的平均响应时间，进一步的，达到降低数据存储成本。

为达此目的，本发明采用以下技术方案：

一种数据存储的优化方法，按照相应时间从短到长，单位存储成本从高到低，将存储分为了若干级，对于第一级存储，r1是响应时间，n1是存储的数据量，N₁为第一级的n1个数据的总访问次数，对于第i级存储，ri表示在该级存储中的响应时间，ci表示该级存储的单位存储的成本，ni表示该级存储的存储容量，N_i表示所述第i级中ni个数据的总访问次数，多级存储中按照访问次数对数据进行按序存储，将访问次数较高的数据按顺序放在访问响应时长较短的存储，在每一级存储中也按照访问次数高低进行排序，将访问次数高的数据放在前面，可以得到如下公式：