[发明专利]一种云存储性能优化方法和系统

说明书

本发明提供了一种云存储性能优化方法和系统，涉及互联网的技术领域，包括：获取Swift云存储架构中存储节点各个分区的分区信息；基于分区信息在各个分区中确定第一分区和第二分区；将第一分区中的文件迁移至代理节点中，并将第二分区中的文件迁移出代理节点中。在本发明实施例中，通过热点数据的动态迁移，达到了提高云存储系统的访问速度的目的，进而解决了现有技术中传统的cache缓存策略不能有效提高海量小文件的读写速度的技术问题。

技术领域

本发明涉及互联网的技术领域，尤其是涉及一种云存储性能优化方法和系统。

背景技术

随着互联网+时代的到来，电力营销信息化系统新型业务飞速发展，例如：手机客户端、网上营业厅、网上缴费、95598电话服务等，使得异构的、非结构化的数据的数量呈指数性增长，例如：工单、图片、视频，以及以word、pdf、ppt等为代表的文档文件。互联网业务热点数据符合Zipf分布，与此类似，电力营销业务的数据访问也存在着热点效应，即某些数据的访问频率远远超过其它数据。在这样的背景下，云存储架构成为海量异构数据的载体，多样的数据类型、快速的数据流转，宝贵的数据资源中蕴含了巨大的商业价值。

传统存储技术通常采用cache缓存对热点数据进行缓存，通过缓存命中率的提高来提升热点数据的访问性能。然而随着大数据时代的来临，传统的cache缓存策略并不能有效提高海量小文件的读写速度，当前流行的云存储架构也未见专门针对海量小文件热点数据进行分析与存储优化的报道。

针对以上问题，还未提出有效解决方案。

发明内容

有鉴于此，本发明的目的在于提供一种云存储性能优化方法和系统，以解决现有技术中传统的cache缓存策略不能有效提高海量小文件的读写速度的技术问题。

本发明实施例提供了一种云存储性能优化方法，该方法包括：获取Swift云存储架构中存储节点各个分区的分区信息，其中，所述各个分区用于存储所属于同一类型的小文件，所述小文件为小于预设值的文件，所述分区信息包括：分区大小信息和/或分区访问次数信息；基于所述分区信息在所述各个分区中确定第一分区和第二分区，其中，所述第一分区中文件的访问频率高于或者等于预设访问频率，所述第二分区中文件的访问频率低于预设访问频率；将所述第一分区中的文件迁移至代理节点中，并将所述第二分区中的文件迁移出所述代理节点中；其中，在将所述第一分区中的文件迁移至所述代理节点之后，用户就能够直接在所述代理节点中访问所述第一分区中的文件。

进一步地，基于所述分区信息在所述各个分区中确定第一分区和第二分区包括：基于所述分区信息计算所述各个分区的热度值；将所述热度值除以所述各个分区的分区大小信息，从而得到所述各个分区的计算结果，其中，所述计算结果用于表征所述各个分区中文件的访问频率；基于所述计算结果确定所述第一分区和所述第二分区。

进一步地，基于所述计算结果确定所述第一分区和所述第二分区包括：将所述计算结果进行排序，得到排序序列；将所述排序序列中的第一目标计算结果所对应的分区作为所述第一分区，其中，所述第一目标计算结果为大于或者等于预设访问频率的结果；将所述排序序列中的第二目标计算结果所对应的分区作为所述第二分区，其中，所述第二目标计算结果为小于所述预设访问频率的结果。

进一步地，将所述第一分区中的文件迁移至代理节点中包括：基于爬山算法将所述第一分区迁移至所述代理节点中；将所述第二分区中的文件迁移出所述代理节点中包括：利用饥饿值策略将所述第二分区迁移出所述代理节点。

进一步地，所述方法还包括：基于所述第一分区中的文件生成格式为Ring文件；将所述Ring文件推送至所述存储节点中进行保存。