[发明专利]数据下载请求的处理方法、装置及系统

说明书

技术领域

本发明涉及计算机网络技术领域，具体涉及一种数据下载请求的处理方法、装置及系统。

背景技术

计算机在运行一个程序时需要的硬件执行主体包括CPU、内存、硬盘和网络IO等，以上各个硬件执行主体的运行速度是依次递减的。虽然CPU的运行速度最快，但是CPU需要网络IO提供的资源，而网络IO的运行速度很慢，此时运行的程序就只能空等待着网络IO提供的资源，这样在批量下载网络资源时，很多时间都被浪费了。传统的解决办法是使用同步的多线程或多进程处理方式，在每个线程（进程）中执行一个下载任务，由此提高了网络资源的下载能力。

这种同步的多线程或多进程处理方式仍然存在以下不足：对于每个线程（进程）来说，需要下载获得网络资源之后才能继续接收下一个下载任务，线程接收任务为阻塞方式，下载任务执行效率低下；每个线程（进程）仍没有充分利用CPU，使得系统的执行时间浪费在网络等待中。

另外，在现有的多线程下载中，由于把下载任务分配给多个线程处理，因此就需要在多个线程之间进行协调，由此增加了多线程处理的复杂度。

发明内容

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的数据下载请求的处理方法和相应的数据下载请求的处理装置及系统。

根据本发明的一个方面，提供了一种数据下载请求的处理方法，该处理方法由包括主处理设备和一个或多个子处理设备的处理系统执行，该处理方法包括步骤：由主处理设备接收请求方发送的数据下载请求，该数据下载请求包括一个或者多个下载任务，并且该数据下载请求还包括下载相关信息，下载相关信息包括请求处理结果存储位置信息；主处理设备将一个或者多个下载任务中的每个任务分发给相应的子处理设备来进行，并且将下载相关信息发送给子处理设备；子处理设备执行相应的下载任务，将下载任务执行结果存储到下载相关信息中的请求处理结果存储位置处，以便由请求方从请求处理结果存储位置处获取下载任务执行结果。

根据本发明的另一方面，提供了一种数据下载请求的处理装置，包括：主处理设备和一个或多个子处理设备；主处理设备包括：接收模块，适于接收请求方发送的数据下载请求，该数据下载请求包括一个或者多个下载任务，并且该数据下载请求还包括下载相关信息，下载相关信息包括请求处理结果存储位置信息；分发模块，适于将一个或者多个下载任务中的每个任务分发给相应的子处理设备来进行，并且将下载相关信息发送给子处理设备；每个子处理设备包括：任务执行模块，适于执行相应的下载任务；至少一个存储设备，以及存储模块，适于将下载任务执行结果存储到下载相关信息中的请求处理结果存储位置所对应的存储设备中，以便由请求方从请求处理结果存储位置处获取下载任务执行结果。

根据本发明的又一方面，提供了一种数据下载请求的处理系统，包括上述数据下载请求的处理装置以及请求方设备，请求方设备适于向数据下载请求的处理装置的主处理设备发送数据下载请求，以及从请求处理结果存储位置处获取下载任务执行结果。

根据本发明提供的数据下载请求的处理方法、装置及系统，主处理设备接收请求方设备发送的数据下载请求后，将数据下载请求中所包括的一个或多个下载任务分发给相应的子处理设备来进行，子处理设备将下载任务交给内核进行处理，子处理设备接收下载任务为非阻塞方式，并且通过将下载任务执行结果存储到请求方设备指定的请求处理结果存储位置处，使得请求方设备能够去相应位置查找获取下载任务执行结果。本发明提供的方案无需等待一个下载任务完成之后继续接收下一个下载任务，而是并行执行多个下载任务，在所有下载任务执行完成后，请求方设备一并查找下载任务执行结果，由此多个下载任务的执行总时间是其中最耗时的下载任务的执行时间，大大提高了下载任务执行的效率；同时明显提高了CPU的利用率，充分利用了CPU的处理能力。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的数据下载请求的处理方法的流程图；

图2示出了根据本发明一个实施例的数据下载请求的处理系统的结构框图。