[发明专利]一种缓存负载均衡方法和装置

说明书

本发明实施例提供的一种缓存负载均衡方法和装置，通过获得第一缓存磁盘组的第一负载参数和第二缓存磁盘组的第二负载参数；当所述第一负载参数大于所述第二负载参数时，根据所述第一负载参数和所述第二负载参数的差距，确定所要迁移的文件块组的第一数量；根据所述第一数量，将所述第一缓存磁盘组中保存的至少部分文件块组迁移至所述第二缓存磁盘组。本发明可以实现在不同缓存设备之间可以进行数据迁移，使得不同缓存设备在实际运行过程中所承受的负载较为均衡，进一步使得缓存系统的整体性能可以得到充分发挥。

技术领域

本发明涉及数据存储技术领域，特别是涉及一种缓存负载均衡方法和装置。

背景技术

目前的缓存系统的特点是每一个缓存设备(例如固态盘)都通过一个固定的IP和端口对外服务，并且独占一个线程。可以认为每一个缓存设备都有一个独立的服务实例。客户端若需要从缓存设备中获得数据，需要以大文件块为单位进行读取，导致整个大文件块的读写访问都是位于这一个服务实例上。另外，不同客户端对该大文件块的访问一定是串行的，同一个客户端对该大文件块的访问也是串行的。

另外，目前的缓存系统没有在不同缓存设备之间进行数据迁移的方法，使得出现一些缓存设备存储有大量热点数据，而一些缓存设备存储有少量的热点数据的情况。这进一步使得存储有大量热点数据的缓存设备经常被客户端的数据读取请求命中，又由于对于数据的访问是串行的，导致缓存设备的负载较大，甚至超出了该缓存设备的最大负载，使得该缓存设备的性能严重下降，进一步降低该缓存设备所在的缓存系统的整体性能。而存储有少量的热点数据的缓存设备，在大部分时间处于“空闲”状态，即该缓存设备被客户端的数据读取请求命中的概率极小，严重浪费该缓存设备的资源。由此可以看出，现有的缓存系统中不同缓存设备在实际运行过程中所承受的负载不均衡，导致负载高的缓存设备的性能严重下降，负载低的缓存设备的资源被严重浪费，使得缓存系统的整体性能不仅没有得到充分发挥，还会出现性能下降的情况。

发明内容

本发明实施例的目的在于提供一种缓存负载均衡方法和装置，以实现在不同缓存设备之间可以进行数据迁移，使得不同缓存设备在实际运行过程中所承受的负载较为均衡，进一步使得缓存系统的整体性能可以得到充分发挥。具体技术方案如下：

第一方面，一种缓存负载均衡方法，包括：

获得第一缓存磁盘组的第一负载参数和第二缓存磁盘组的第二负载参数；

当所述第一负载参数大于所述第二负载参数时，根据所述第一负载参数和所述第二负载参数的差距，确定所要迁移的文件块组的第一数量；

根据所述第一数量，将所述第一缓存磁盘组中保存的至少部分文件块组迁移至所述第二缓存磁盘组。

结合第一方面，在某些可选的实施方式中，所述第一负载参数和所述第二负载参数均为存储容量参数，或，所述第一负载参数和所述第二负载参数均为带宽参数。

结合第一方面，在某些可选的实施方式中，缓存设备中包括多个缓存磁盘组，所述多个缓存磁盘组包括所述第一缓存磁盘组和第二缓存磁盘组，所述第一缓存磁盘组为所述多个缓存磁盘组中负载参数最大的缓存磁盘组，所述第二磁盘缓存组为所述多个缓存磁盘组中负载参数最小的缓存磁盘组。

可选的，在某些可选的实施方式中，所述当所述第一负载参数大于所述第二负载参数时，根据所述第一负载参数和所述第二负载参数的差距，确定所要迁移的文件块组的第一数量，包括：

当所述第一负载参数大于所述第二负载参数且所述第一负载参数和所述第二负载参数的差距大于预设差距时，根据所述第一负载参数和所述第二负载参数的差距，确定所要迁移的文件块组的第一数量。

结合第一方面，在某些可选的实施方式中，所述根据所述第一负载参数和所述第二负载参数的差距，确定所要迁移的文件块组的第一数量，包括：