[发明专利]一种数据处理方法及装置

说明书

技术领域

本申请涉及数据处理领域，特别涉及一种数据处理方法及装置。

背景技术

随着云计算和大数据技术的发展，各种大数据计算引擎层出不穷，如专攻离线处理的MapReduce，专攻流计算处理的Storm，集离线计算与流计算于一身的Spark和Flink等。

其中，各种大数据计算引擎各有利弊，导致一个组织内部存在各种大数据计算引擎共存的业务场景，不同的业务场景需要使用不同的大数据计算引擎。然而，不同的大数据计算引擎的数据处理方式不同，导致处理同一个数据处理任务时，需要维护多个大数据计算引擎的数据处理方式，维护工作量大。

发明内容

为解决上述技术问题，本申请实施例提供一种数据处理方法及装置，以达到减少维护工作量的目的，技术方案如下：

一种数据处理方法，包括：

接收数据处理任务的基于JSON配置的统一数据处理文件；

解析所述基于JSON配置的统一数据处理文件，得到统一数据处理方式，并选定所述数据处理任务的计算引擎类型；

发送所述统一数据处理方式和所述数据处理任务的计算引擎类型至集群服务器，以使所述集群服务器利用所述数据处理任务的计算引擎类型对应的计算引擎，按照所述统一数据处理方式执行所述数据处理任务。

优选的，所述基于JSON配置的统一数据处理文件包括：

定义数据源的代码、用于实现将所述数据源对应的数据映射为Schema格式数据的代码、用于实现对所述Schema格式数据进行SQL处理的逻辑代码和对所述Schema格式数据进行SQL处理后得到的数据的输出逻辑代码。

优选的，解析所述基于JSON配置的统一数据处理文件，得到统一数据处理方式，包括：

解析所述定义数据源的代码、所述用于实现将所述数据源对应的数据映射为Schema格式数据的代码、所述用于实现对所述Schema格式数据进行SQL处理的逻辑代码和对所述Schema格式数据进行SQL处理后得到的数据的输出逻辑代码，得到所述数据处理任务的数据源、所述数据源对应的数据映射为Schema格式的数据、对所述Schema格式的数据进行SQL处理的逻辑和对所述Schema格式的数据进行SQL处理后得到的数据的输出逻辑。

优选的，所述基于JSON配置的统一数据处理文件的生成过程，包括：

利用JSON语言编写定义数据源的代码；

利用JSON语言编写用于实现将所述数据源对应的数据映射为Schema格式数据的代码；

利用JSON语言编写用于实现对所述Schema格式数据进行SQL处理的逻辑代码；

利用JSON语言编写对所述Schema格式数据进行SQL处理后得到的数据的输出逻辑代码。

一种数据处理装置，包括：

接收模块，用于接收数据处理任务的基于JSON配置的统一数据处理文件；

解析模块，用于解析所述基于JSON配置的统一数据处理文件，得到统一数据处理方式；

选定模块，用于选定所述数据处理任务的计算引擎类型；

发送模块，用于发送所述统一数据处理方式和所述数据处理任务的计算引擎类型至集群服务器，以使所述集群服务器利用所述数据处理任务的计算引擎类型对应的计算引擎，按照所述统一数据处理方式执行所述数据处理任务。

优选的，所述基于JSON配置的统一数据处理文件包括：

定义数据源的代码、用于实现将所述数据源对应的数据映射为Schema格式数据的代码、用于实现对所述Schema格式数据进行SQL处理的逻辑代码和对所述Schema格式数据进行SQL处理后得到的数据的输出逻辑代码。

优选的，所述解析模块包括：

解析单元，用于解析所述定义数据源的代码、所述用于实现将所述数据源对应的数据映射为Schema格式数据的代码、所述用于实现对所述Schema格式数据进行SQL处理的逻辑代码和对所述Schema格式数据进行SQL处理后得到的数据的输出逻辑代码，得到所述数据处理任务的数据源、所述数据源对应的数据映射为Schema格式的数据、对所述Schema格式的数据进行SQL处理的逻辑和对所述Schema格式的数据进行SQL处理后得到的数据的输出逻辑。