[发明专利]一种数据处理方法及装置

说明书

本发明公开了一种数据处理方法及装置，应用于控制服务器，所述控制服务器设置第一队列和第二队列，所述第一队列用于存储从数据磁盘服务器读取数据的时间差值，所述第二队列用于存储从缓存磁盘服务器读取数据的时间差值，所述时间差值用于表示磁盘用户发起请求读取数据到磁盘读取完毕回复给所述磁盘用户的时间差，通过本发明提供的数据处理方法及装置，达到缓存磁盘服务器的输出数据的能力和数据磁盘服务器的输出数据的能力均衡，实现对缓存磁盘服务器进行削峰，达到整个服务器集群的最大数据输出能力。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据处理方法及装置。

背景技术

随着3G和宽带接入的高速发展，移动和固网用户的数量及带宽都有很快的增长。如此庞大的用户需求强烈刺激着各类信息业务的发展，对IP网络的结构和容量都提出了很高的挑战。

在数据输出的时候，一般缓存磁盘服务器缓存的都是用户的热点数据，大量的热点数据缓存在磁盘服务器的磁盘上，但是缓存磁盘服务器也存在一定的限制：第一，由于缓存磁盘服务器的输出能力是有限的，通常一个服务器集群无法部署大量的缓冲磁盘服务器，所以，缓存磁盘服务器个数比较少；第二，每一个缓存磁盘服务器的输出带宽是有限制的，不可能输出很大的数据量来维持用户的需求。当所有数据从缓存磁盘服务器中读取的时候，磁盘输出的带宽以及对应服务器的输出带宽限制了整个服务器集群的数据输出能力。

发明内容

本发明的目的在于提出一种数据处理方法及装置，以达到缓存磁盘服务器的输出数据的能力和数据磁盘服务器的输出数据的能力均衡，实现对缓存磁盘服务器进行削峰，达到整个服务器集群的最大数据输出能力。

为达到上述目的，本发明提供了以下技术方案：

一种数据处理方法，应用于控制服务器，所述控制服务器设置第一队列和第二队列，所述第一队列用于存储从数据磁盘服务器读取数据的时间差值，所述第二队列用于存储从缓存磁盘服务器读取数据的时间差值，所述时间差值用于表示磁盘用户发起请求读取数据到磁盘读取完毕回复给所述磁盘用户的时间差，该方法包括：

接收所述磁盘用户发送的读取数据请求；

根据所述第一队列中的所有的时间差值和所述第一队列的长度计算第一平均值；

根据所述第二队列中的所有的时间差值和所述第二队列的长度计算第二平均值；

当再次接收所述磁盘用户发送的读取数据请求时，根据所述第一平均值和所述第二平均值确定目标磁盘服务器。

具体的，根据所述第一队列中的所有的时间差值和所述第一队列的长度计算第一平均值的步骤，包括：

确定从所述数据磁盘服务器请求数据所花费的时间差值，并将所述时间差值存储至所述第一队列；

将所述第一队列中的所有的时间差值求和，除以所述第一队列的长度得到所述第一平均值。

具体的，根据所述第二队列中的所有的时间差值和所述第二队列的长度计算第二平均值的步骤，包括：

确定从所述缓存磁盘服务器请求数据所花费的时间差值，并将所述时间差值存储至所述第二队列；

将所述第二队列中的所有的时间差值求和，除以所述第二队列的长度得到所述第二平均值。

具体的，当再次接收所述磁盘用户发送的读取数据请求时，根据所述第一平均值和所述第二平均值确定目标磁盘服务器的步骤，包括：

比较所述第一平均值和所述第二平均值的大小；

当所述第一平均值大于或等于所述第二平均值时，则确定所述目标磁盘服务器为所述缓存磁盘服务器，将读取所花费的时间差值更新至所述缓存磁盘服务器对应的所述第二队列中，并计算新的第二平均值；