[发明专利]一种数据调度的方法及装置

说明书

技术领域

本发明涉及大数据处理领域，尤其涉及一种数据调度的方法及装置。

背景技术

近几年来，随着计算机和信息技术的迅猛发展和普及应用，行业应用系统的规模迅速扩大，行业应用所产生的数据成爆炸性增长，现阶段大数据已远远超出了现有传统的计算技术和信息系统的处理能力。

目前，大数据处理方法通常只专注于特定的数据处理框架内部的数据处理，例如：用于历史数据分析的批量数据处理(如，MapReduce等)、用于实时流数据处理的流计算(如Storm，S4等)或用于相互关联的数据分析的图形计算(如HAMA等)。现有技术中并没有针对多个数据处理框架间数据如何进行调度的相关记载，故不能对数据进行全面的分析和目标整合。

发明内容

有鉴于此，本发明的一个实施例解决的问题之一是能够根据数据的功能和处理时长要求调度到不同的数据处理架构进行数据处理，从而提高大数据处理速率。

根据本发明的一个实施例，提供了一种数据调度的方法，所述方法包括：

将源数据按照预定要求添加调度标签，所述调度标签用于识别所述源数据的功能和处理时长要求；

根据所述调度标签将所述源数据分派到对应的目标数据缓存或对应的目标数据处理框架。

根据本发明的一个实施例，提供了一种数据调度的装置，所述装置包括：

标签添加模块，用于将源数据按照预定要求添加调度标签，所述调度标签用于识别所述源数据的功能和处理时长要求；

分派模块，用于根据所述调度标签将所述源数据分派到目标数据缓存或对应的目标数据处理框架。

与现有技术相比，本发明具有以下优点：数据调度的方法和装置能够根据数据的功能和处理时长要求调度到不同的目标数据缓存或目标数据处理架构进行数据处理，保证了数据可以被正确地分派到目标大数据处理框架， 从而提高大数据处理速率。

附图说明

本发明的其它特点、特征、优点和益处通过以下结合附图的详细描述将变得更加显而易见。

图1为根据本发明一个实施例的数据调度的方法的流程图；

图2为根据本发明一个实施例的另一数据调度的方法的流程图；

图3-1为根据本发明一个实施例的数据调度的方法中从第一虚拟缓存队列到增加第二虚拟缓存队列的示意图；

图3-2为根据本发明一个实施例的数据调度的方法中以从两个虚拟缓存队列到增加第三个虚拟缓存队列的示意图；

图3-3为根据本发明一个实施例的数据调度的方法中以从虚拟缓存队列集中虚拟缓存队列的写入和读取操作的示意图；

图3-4为根据本发明一个实施例的数据调度的方法中以从虚拟缓存队列集中将存储空间为空的虚拟缓存队列删除的示意图；

图4为根据本发明一个实施例的在复杂大数据处理方案中数据处理的系统结构示意图；

图5为根据本发明另一个实施例的在复杂大数据处理方案中数据处理的系统结构示意图；

图6为根据本发明一个实施例的数据调度的装置的结构框图；

图7为根据本发明一个实施例的另一数据调度的装置的结构框图；

图8为根据本发明一个实施例的又一数据调度的装置的结构框图。

具体实施方式

下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1为根据本发明一个实施例的数据调度的方法的流程图。该方法包括步骤S110和步骤S120：

在步骤S110中，服务器将源数据按照预定要求添加调度标签，所述调度标签用于识别所述源数据的功能和处理时长要求。