[发明专利]一种调整数据分片分布的方法及数据服务器

说明书

本发明公开了一种调整数据分片分布的方法。当到达与待处理数据分片对应的调整时刻时，获取待处理数据分片的访问频度信息，随后根据访问频度信息以及预设的收益函数确定数据分片对应各数据中心的收益数据，最后根据各数据中心的收益数据以及副本的数量生成最优分布信息，并按照最优分布信息对各副本在各数据中心的位置进行调整。从而在无需额外设置用于存储的内存或者硬盘的情况下，根据数据分片的访问频度和特性动态优化数据分片的分布情况，从而降低了数据中心之间的传输带宽需求。

技术领域

本发明涉及通信技术领域，特别涉及一种调整数据分片分布的方法。本发明同时还涉及一种数据服务器。

背景技术

在云计算和大数据处理环境下，分布式文件系统作为底层的存储层，向上层的业务提供接近无限扩展的存储服务能力。然而，随着数据中心规模的增大以及全球部署的流行，数据中心因为各种物理问题(例如挖断光纤、机房起火等等)而发生整体下线的事故越来越多，一旦数据中心下线，将会导致严重的服务可用性问题。

为了提高数据服务的可用性和延续性，业界一种常见的做法是将数据的多份拷贝分布到一定区域内的多个数据中心中，通过数据中心之间的数据冗余来提高服务的可用性，数据运营商通过采用跨数据中心数据分布的技术方案，从而使自己的部分服务能承受任意一个数据中心离线。

当数据在多个数据中心(以下简称DataCenter或者DC)分布时，将会存在跨DC之间的数据读写过程，比如用户作业跨机房读写数据或者因为软硬件故障导致文件系统需要从内向外进行数据复制。这对跨DC的网络连接和带宽提出了较高的要求。现有的技术方案往往是数据运营商自建数据中心和网络，从而能够保证数据中心之间有充足的网络带宽。但是数据中心之间的线路需要租用，成本高昂，并不能保障有充足的带宽，

针对以上问题，目前存在一种方案，就是在每个数据中心内部加上一层缓存来尽量避免跨数据中心的数据读取。这种方法虽然能够有效规避跨数据中心读数据所带来的网络流量。但由于缓存的数据放在内存中，相比磁盘内存的容量小上几个数量级(TB vs GB)，因此缓存的效果会随着数据量的增大而降低，而且缓存系统在将缓存放到硬盘上会挤占用户数据的可用IO能力，此外，缓存和底层的文件系统配合比较困难。如某个文件数据改写会导致整个文件的缓存数据失效，影响缓存的使用效率。

由此可见，如何优化数据分布来节省网络访问的带宽，成为本领域技术人员亟待解决的技术问题。

发明内容

本发明提供了一种调整数据分片分布的方法，用以在降低带宽需求的同时能最大化数据访问性能，该方法应用于包括多个数据中心的分布式文件存储系统中，待处理数据分片的多个副本存储于所述分布式文件存储系统中的一个或多个数据中心，该方法包括：

当到达与所述待处理数据分片对应的调整时刻时，获取所述待处理数据分片的访问频度信息；

根据所述访问频度信息以及预设的收益函数确定所述数据分片对应各所述数据中心的收益数据；

根据各所述数据中心的收益数据以及所述副本的数量生成最优分布信息；

按照所述最优分布信息对各所述副本在各所述数据中心的位置进行调整。优选地，当到达与所述待处理数据分片对应的调整时刻时，获取所述待处理数据分片的访问频度信息，具体为：

在根据预设的时间周期确定当前时刻为调整时刻时，获取所述时间周期内各所述数据中心上报的子访问频度信息；

或，在接收到调整触发消息时，获取在预设的时间周期内各所述数据中心上报的子访问频度信息。

优选地，所述访问频度信息由所述待处理数据分片在各所述数据中心的子访问频度信息组成，所述子访问频度信息至少包括数据分片大小、从与所述子访问频度信息对应的数据中心访问所述数据分片的访问次数、所述数据分片从所述数据中心所产生的数据流量，以及平均跨机房带宽。