[发明专利]一种数据处理方法及装置

说明书

本申请涉及大数据技术领域，尤其涉及一种数据处理方法及装置，用以解决现有技术中数据接入平台使用成本较高的问题；本申请实施例提供的数据处理方法包括：接收数据处理请求，所述数据处理请求中携带有源数据的地址信息和对所述源数据需执行的处理任务；根据所述源数据的地址信息获取源数据；根据所述源数据的属性信息和所述数据接入平台中各计算框架的负载状况，确定用于执行所述处理任务的计算框架；将所述处理任务提交给所述计算框架，由所述计算框架对所述源数据进行处理，这样，用户只需将需要数据接入平台处理的任务写入接入请求中，就可以对数据接入平台进行命令发布，降低了使用数据接入平台的难度，降低了数据接入平台的使用成本。

技术领域

本申请涉及大数据技术领域，尤其涉及一种数据处理方法及装置。

背景技术

目前，数据接入平台作为大数据平台重要的数据入口，其主要用于实现数据源接入和数据缓存预处理，其中，数据源接入主要包括对在线消息、离线文件、Binlog等日志文件进行数据采集；数据缓存预处理主要包括数据源格式的适配、数据的加密传输、消息缓存和订阅分发。

现有技术中，用户必须借助Flume-NG、Logstach或者Scribe等分布式部署方式来实现数据接入，这样，每一用户都需要自行进行技术选型，对不同的采集任务或预处理任务需要采用不同的技术方案，并且需要自己完成软件的底层实现，因此，开发过程比较繁琐、复杂，导致数据接入平台的使用成本也比较高。

可见，现有技术中用户在使用数据接入平台时存在着开发过程繁琐、复杂，导致数据接入平台的使用成本比较高的问题。

发明内容

本申请实施例提供一种数据处理方法及装置，用以解决现有技术中用户在使用数据接入平台时存在着开发过程繁琐、复杂，导致数据接入平台的使用成本比较高的问题。

本申请实施例提供的一种数据处理方法，应用于包含多个计算框架的数据接入平台，包括：

数据接入平台接收数据处理请求，所述数据处理请求中携带有源数据的地址信息和对所述源数据需执行的处理任务；

根据所述源数据的地址信息获取源数据；

根据所述源数据的属性信息和所述数据接入平台中各计算框架的负载状况，确定用于执行所述处理任务的计算框架，所述源数据的属性信息至少包含数据来源、时延大小、数据总量和数据质量；

将所述处理任务提交给所述计算框架，由所述计算框架对所述源数据进行处理。

本申请实施例提供的一种数据处理装置，位于包含多个计算框架的数据接入平台中，包括：

接收模块，用于接收数据处理请求，所述数据处理请求中携带有源数据的地址信息和对所述源数据需执行的处理任务；

获取模块，用于根据所述源数据的地址信息获取源数据；

计算框架选取模块，用于根据所述源数据的属性信息和所述数据接入平台中各计算框架的负载状况，确定用于执行所述处理任务的计算框架，所述源数据的属性信息至少包含数据来源、时延大小、数据总量和数据质量；

提交模块，用于将所述处理任务提交给所述计算框架，由所述计算框架对所述源数据进行处理。

本申请实施例提供的一种电子设备，包括至少一个处理单元、以及至少一个存储单元，其中，所述存储单元存储有程序代码，当所述程序代码被所述处理单元执行时，使得所述电子设备执行上述数据处理方法的步骤。

本申请实施例提供的一种计算机可读存储介质，包括程序代码，当所述程序代码在电子设备上运行时，使所述电子设备执行上述数据处理方法的步骤。