[发明专利]数据复制方法及数据存储系统

说明书

技术领域

本发明实施例涉及计算机信息存储技术领域，具体涉及一种数据复制方法以及采用该方法的存储系统。

背景技术

计算机技术以及网络通信技术的飞速发展，使得全球信息存储量以每年超过30％的速度急剧增长。网络存储成为存储技术领域的必然趋势，而通过网络在线播放媒体资讯成为了用户的生活常态。其中，以对象存储结构为基础构建的大型分布式文件系统，能提供较强的并发数据处理能力，因此，元数据服务管理在大型分布式文件系统中显得非常重要。

但是，传统的元数据管理只是采用静态元数据分割以及分布存储，不能较好地实现负载的均衡，从而在高并发时出现用户媒资内容播放不稳定的问题。

发明内容

有鉴于此，有必要提供一种数据复制方法及存储系统，能够解决媒资内容播放过程中高并发的问题，提高播放稳定性。

本发明实施例提供一种用于存储系统的数据复制方法，包括：

响应客户端的读取文件请求；

获取待读取文件的各文件块编号及各文件块在相应存储节点的分布信息；

基于所述分布信息，并结合相应存储节点的负载度信息，匹配负载度低于第一负载度阈值的多个存储节点向所述客户端传送整套文件块，所述整套文件块组合而成为所述待读取文件；

将已匹配的所述多个存储节点上的各文件块同步式或列队式向客户端传输。

优选地，该数据复制方法进一步包括：

获取待读取文件的热度；

如果所述热度大于第一热度阈值，则将所述待读取文件所属的各文件块在负载度低于第二负载度阈值的存储节点上均制作副本或者随机制作副本。

优选地，如果所述热度小于第二热度阈值，则将所述待读取文件所属的各文件块的副本在各存储节点删除，而各文件块仅留一份副本。

优选地，该数据复制方法进一步包括：

获取待读取文件的热度，如果所述热度大于第三热度阈值，则增加所述待读取文件的文件分块数量，并将所述待读取文件所属的各文件块在负载度低于第二负载度阈值的存储节点上均制作副本或者随机制作副本。

优选地，该数据复制方法进一步包括：

更新待读取文件的属性信息，所述属性信息包括所述待读取文件所属的各文件块的编号、各文件块的副本数及各文件块副本在相应存储节点的分布信息。

优选地，所述获取待读取文件的热度的步骤，具体包括：在单位时间内，每收到一次来自客户端的读取文件请求，则将所述读取文件及其所属文件块的热度增加1，而如果在单位时间内，未收到来自客户端的读取文件请求，则将所述读取文件及其所属文件块的热度减少1。

同时，本发明实施例还提供一种数据存储系统，包括：

响应模块，用于响应客户端的读取文件请求；

属性获取模块，用于获取待读取文件的各文件块编号及各文件块在相应存储节点的分布信息；

策略匹配模块，用于基于所述分布信息，并结合相应存储节点的负载度信息，匹配负载度低于第一负载度阈值的多个存储节点向所述客户端传送整套文件块，所述整套文件块组合而成为所述待读取文件；

传送模块，用于将已匹配的所述多个存储节点上的各文件块同步式或列队式向客户端传输。

优选地，该数据存储系统进一步包括：

热度获取模块，用于获取待读取文件的热度；

副本扩增模块，如果所述热度大于第一热度阈值，则将所述待读取文件所属的各文件块在负载度低于第二负载度阈值的存储节点上均制作副本或者随机制作副本。

优选地，该数据存储系统进一步包括：

副本删除模块，如果所述热度小于第二热度阈值，则将所述待读取文件所属的各文件块的副本在各存储节点删除，而各文件块仅留一份副本。

优选地，该数据存储系统进一步包括：

属性更新模块，用于更新待读取文件的属性信息，所述属性信息包括所述待读取文件所属的各文件块的编号、各文件块的副本数及各文件块副本在相应存储节点的分布信息。

采用上述方案，由于结合相应存储节点的负载度信息，并将待读取文件的各文件块在相应存储节点分布存储，可以提高存储系统高并发时的应对能力。此外，由于本发明实施例动态获取待读取文件的热度，并同时匹配存储节点的负载度动态调整各文件块的分布存储，实现了存储节点的在线扩容，提升了媒资内容播放过程中的稳定性，进一步提升了用户体验。

附图说明

图1为本发明实施例用于存储系统的数据复制方法的流程示意图；