[发明专利]分布式缓存调度系统及方法

说明书

技术领域

本发明涉及一种调度系统及方法，具体地，涉及一种分布式缓存调度系统及方法。

背景技术

现有的视频云平台用原生服务器有两方面的缺点：一是服务器调度不均衡，统一资源标识符散列的调度算法无法配置权重，可能导致后台缓存模块负载不均衡。二是应用服务器的缓存问题，缓存替换策略单一，对热点文件无法使用内存缓存，缓存路径为MD5值的组合，管理缓存池文件变得困难，逻辑复杂。

发明内容

针对现有技术中的缺陷，本发明的目的是提供一种分布式缓存调度系统及方法，其调度策略灵活，能够提高视频下载速度，节省大量宽带。

根据本发明的一个方面，提供一种分布式缓存调度系统，其特征在于，其包括调度器、缓存模块、服务器，调度器一方面接收用户请求，一方面根据调度策略调度后端资源为用户提供服务；缓存模块用来接收并执行换入换出缓存池指令，将后端资源缓存在服务器中的存储器上，并将换入换出结果告知调度器。

优选地，所述调度器的调度策略包括：

搜集缓存模块的运行时参数：中央处理器负载、有效连接数、磁盘输入/输出负载、缓存池使用容量；

缓存模块繁忙指数和空闲指数的计算，计算繁忙指数需要的参数：中央处理器负载、有效连接数、磁盘输入/输出负载、缓存池使用容量；

为统一资源标识符分配缓存模块的策略：为统一资源标识符分配的缓存模块是从统一资源标识符所在的缓存级别的缓存模块列表中，按照这些缓存模块的空闲指数分配的。

优选地，所述缓存模块的缓存策略包括：

缓存模块的缓存方式：有两种缓存级别：硬盘缓存级别和内存缓存缓存级别；统一资源标识符的历史访问量确定了统一资源标识符的缓存级别，从而确定了其缓存方式；随着统一资源标识符历史访问量的升高或降低，统一资源标识符在不同缓存级别中切换；

统一资源标识符换入缓存池：当请求到来时，调度器根据统一资源标识符历史访问量确定统一资源标识符的缓存级别并分配缓存模块，然后查找统一资源标识符与缓存模块对应关系，判断统一资源标识符是否被缓存模块缓存，如果未缓存，调度器将后台存储器的的IP端口通过HTTP返回码告知客户端，同时通知运行在各缓存模块的存储器“从统一资源标识符当前使用的缓存模块上下载统一资源标识符到自己的缓存池”；缓存模块接收到指令，下载统一资源标识符保存到缓存池中，成功后通知调度器统一资源标识符已换入缓存池；如果已缓存，调度器将当前使用缓存模块的IP端口通过HTTP返回码告知客户端；

统一资源标识符换出缓存池：当缓存模块的缓存池有统一资源标识符过期或者缓存池满时，调度器会通知缓存模块换出一定数量的文件。

优选地，所述存储器是独立运行于服务器上的，用来管理缓存模块上缓存池的换入换出。

本发明还提供一种分布式缓存调度方法，其特征在于，其包括以下步骤：

步骤一，用户访问调度器请求某资源；

步骤二，调度器判断本机是否有该资源；

步骤三，若无该资源则根据该资源的缓存策越设定缓存机器，并存储到数据库；

步骤四，返回HTTP返回码请求给用户；

步骤五，用户接受HTTP返回码请求，再请求缓存机器；

步骤六，缓存机器返回资源给用户。

与现有技术相比，本发明具有如下的有益效果：本发明调度策略灵活，能够提高视频下载速度，节省大量宽带。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明系统结构示意图。

具体实施方式

如图1所示，本发明分布式缓存调度系统包括调度器、缓存模块、服务器，调度器一方面接收用户请求，一方面根据调度策略调度后端资源为用户提供服务；缓存模块用来接收并执行换入换出缓存池指令，将后端资源缓存在服务器中的存储器上，并将换入换出结果告知调度器。

本发明的工作原理如下：比如用户在系统中请求下载视频时，首先会请求调度器，调度器再根据一定的缓存策略去后端的某个缓存模块中拉取视频资源，同时缓存模块会将该视频资源缓存住，如果缓存模块尚未缓存该视频，则系统会将存储器中的视频返回给用户。

调度器的调度策略包括以下内容：

1.1搜集缓存模块的运行时参数：中央处理器负载、有效连接数、磁盘输入/输出负载、缓存池使用容量。