[发明专利]一种数据处理方法及装置

权利要求书

1.一种数据处理方法，应用于包含多个计算框架的数据接入平台，其特征在于，包括：

数据接入平台接收数据处理请求，所述数据处理请求中携带有源数据的地址信息、对所述源数据需执行的处理任务和目的地址；

根据所述源数据的地址信息获取源数据；

根据所述源数据的属性信息确定对所述源数据的处理方式，其中，对所述源数据的处理方式包括批处理方式和实时处理方式；所述数据接入平台包括实时计算框架和批处理计算框架；

若确定以实时处理方式处理所述源数据，则确定所述数据接入平台中以实时流处理方式处理数据流的实时计算框架，从所述实时计算框架中选择负载低于第一阈值的实时计算框架作为执行所述处理任务的实时计算框架；

若确定以批处理方式处理所述源数据，则确定所述数据接入平台中以批处理方式处理数据流的批处理计算框架，从所述批处理计算框架中选择负载低于第二阈值的批处理计算框架作为执行所述处理任务的批处理计算框架；

所述源数据的属性信息至少包含数据来源、时延大小、数据总量和数据质量；

将所述处理任务提交给所述实时计算框架或所述批处理计算框架，由所述实时计算框架或所述批处理计算框架对所述源数据进行处理，并将处理后产生的数据存放在所述目的地址。

2.如权利要求1所述的方法，其特征在于，根据所述源数据的属性信息和所述数据接入平台中各计算框架的负载状况，确定用于执行所述处理任务的计算框架之前，还包括：

确定不存在用户自定义的计算框架。

3.如权利要求2所述的方法，其特征在于，还包括：

若确定存在用户自定义的计算框架，则将所述处理任务提交给所述用户自定义的计算框架，由所述用户自定义的计算框架对所述源数据进行处理。

4.一种数据处理装置，位于包含多个计算框架的数据接入平台中，其特征在于，包括：

接收模块，用于接收数据处理请求，所述数据处理请求中携带有源数据的地址信息、对所述源数据需执行的处理任务和目的地址；

获取模块，用于根据所述源数据的地址信息获取源数据；

计算框架选取模块，所述数据接入平台包括实时计算框架和批处理计算框架；

若确定以实时处理方式处理所述源数据，则确定所述数据接入平台中以实时流处理方式处理数据流的实时计算框架，从所述实时计算框架中选择负载低于第一阈值的实时计算框架作为执行所述处理任务的实时计算框架；

若确定以批处理方式处理所述源数据，则确定所述数据接入平台中以批处理方式处理数据流的批处理计算框架，从所述批处理计算框架中选择负载低于第二阈值的批处理计算框架作为执行所述处理任务的批处理计算框架，所述源数据的属性信息至少包含数据来源、时延大小、数据总量和数据质量；

提交模块，用于将所述处理任务提交给所述实时计算框架或所述批处理计算框架，由所述实时计算框架或所述批处理计算框架对所述源数据进行处理，并将处理后产生的数据存放在所述目的 地址；

所述计算框架选取模块，具体用于根据所述源数据的属性信息确定对所述源数据的处理方式，其中，对所述源数据的处理方式包括批处理方式和实时处理方式；根据对所述源数据的处理方式和所述数据接入平台中各计算框架的负载状况，确定用于执行所述处理任务的计算框架。

5.如权利要求4所述的装置，其特征在于，还包括，确定模块：

所述确定模块，用于根据所述源数据的属性信息和所述数据接入平台中各计算框架的负载状况，确定用于执行所述处理任务的计算框架之前，确定不存在用户自定义的计算框架。

6.如权利要求5所述的装置，其特征在于，所述提交模块还用于：

若确定存在用户自定义的计算框架，则将所述处理任务提交给所述用户自定义的计算框架，由所述用户自定义的计算框架对所述源数据进行处理。

7.一种电子设备，其特征在于，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述电子设备执行权利要求1至3任一所述方法的步骤。

8.一种计算机可读存储介质，其特征在于，包括程序代码，当所述程序代码在电子设备上运行时，使所述电子设备执行权利要求1至3任一所述方法的步骤。