[发明专利]一种分摊减轻数据中心服务器任务的方法及系统

说明书

技术领域

本发明涉及一种分摊减轻数据中心服务器任务的方法，尤其是涉及一种基于存储网络中的微处理器来分摊减轻数据中心服务器任务的方法及系统。

背景技术

随着云时代的来临，大数据(big data)一词越来越多地被提及，人们用它来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。数据正在迅速膨胀并变大，它决定着企业的未来发展，虽然很多企业可能并没有意识到数据爆炸性增长带来问题的隐患，但是随着时间的推移，人们将越来越多的意识到数据对企业的重要性。正如《纽约时报》2012年2月的一篇专栏中所称，“大数据”时代已经降临，在商业、经济及其他领域中，决策将日益基于数据和分析而作出，而并非基于经验和直觉。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像Map Reduce一样的框架来向数十、数百或甚至数千的电脑分配工作。截止到2012年，数据量已经从TB(1024GB＝1TB)级别跃升到PB(1024TB＝1PB)、EB(1024PB＝1EB)乃至ZB(1024EB＝1ZB)级别。国际数据公司(IDC)的研究结果表明，2008年全球产生的数据量为0.49ZB，2009年的数据量为0.8ZB，2010年增长为1.2ZB，2011年的数量更是高达1.82ZB，相当于全球每人产生200GB以上的数据。而到2012年为止，人类生产的所有印刷材料的数据量是200PB，全人类历史上说过的所有话的数据量大约是5EB。

而目前科研所关心的是如何从如此巨大的数据中查询或者搜索到用户关心的有价值数据。传统用户查询信息的结构图如图1所示。用户通过个人计算机向网络中发送数据请求，数据中心服务器收到命令开始从存储网络中查询和搜索用户所需要的数据信息。我们知道，处理器只能直接处理内存中的数据信息，对于如此巨大的数据量，先要从存储网络中的存储器中转存至服务器的内存中，然后服务器的处理器对这些信息进行数据处理和操作，再将结果返回至客户端。显然，从存储网络导入服务器中的数据信息是远远大于服务器返回至用户客户端的数据信息的。对于日益庞大的数据系统来说，处理器处理数据的速率瓶颈是存储网络向服务器内存中导入数据的限制，因为不论是何种存储器，例如传统的磁盘、固态硬盘、闪存，以及网络附属存储(NAS，Network Attached Storage，一种专用的数据存储服务器)、直接连接存储(DAS，Direct Attached Storage，即外置存储设备通过连接电缆直接连到服务器上的一种存储结构)或独立磁盘冗余阵列(RAID，Redundant Array of Independent Disks，让多个独立的硬盘通过不同方式组合成一个硬盘组，硬盘组的性能较单个硬盘在性能上有大幅度的提升)，对其数据读写速率要远远小于对内存数据的读写速率。目前，为了提高服务器处理器处理数据的速度，可采用IMC(IMC，In Memory Computation)技术来提高处理速度，该技术是通过增加内存的容量，从而可以一次性导入更多的数据量，从而加快处理器处理数据的速率。这种方法固然可以加快数据处理的速度，然而对于服务器来说，其可配置的内存容量是有上限的，如果容量达到上限，唯一的办法就是增加服务器的数量，显然成本代价比较高，并且由于内存是易失性的处理器，需要定时刷新，因而功耗也非常大。

如此庞大的数据库中用户真正感兴趣的信息往往只是冰山一角，处理器大部分时间在搜索和查询那些用户真正需要的数据，这些功能操作并非需要服务器处理器的ALU(Arithmetic Logic Unit，算术逻辑单元)参与，可以说，服务器处理器大部分时间都在被大材小用，存在着性能浪费。我们知道，在存储网络中也存在着大量的微处理器，不论是磁盘、固态硬盘、闪存，还是NAS、RAID等，其内部都配置有微处理器，它们的任务就是对存储单元进行管理和控制，例如损耗均衡、模块选择，错误检查纠错，数据读写等等。有些存在于存储网络中的微处理器在性能上甚至不亚于一些个人计算机的处理器，相比服务器的处理器来说，它们的集成工艺节点较高，因而功耗也较低，成本也更低，而且在大多数时候，即并不需要对存储器进行大量写操作时，这些微处理器是处于空闲状态的。

综上所述，存储网络中的微处理器并没有得到充分的利用，进而造成性能的浪费。

发明内容

根据上述问题，本发明提供了一种分摊减轻数据中心服务器任务的方法，其中，包括如下步骤：

步骤S1：用户通过电子终端设备向网络中的数据中心服务器发送数据请求指令；