[发明专利]一种数据处理方法及装置

权利要求书

1.一种数据处理方法，其特征在于，包括：

接收数据处理任务的基于JSON配置的统一数据处理文件；

解析所述基于JSON配置的统一数据处理文件，得到统一数据处理方式，并选定所述数据处理任务的计算引擎类型；

发送所述统一数据处理方式和所述数据处理任务的计算引擎类型至集群服务器，以使所述集群服务器利用所述数据处理任务的计算引擎类型对应的计算引擎，按照所述统一数据处理方式执行所述数据处理任务。

2.根据权利要求1所述的方法，其特征在于，所述基于JSON配置的统一数据处理文件包括：

定义数据源的代码、用于实现将所述数据源对应的数据映射为Schema格式数据的代码、用于实现对所述Schema格式数据进行SQL处理的逻辑代码和对所述Schema格式数据进行SQL处理后得到的数据的输出逻辑代码。

3.根据权利要求2所述的方法，其特征在于，解析所述基于JSON配置的统一数据处理文件，得到统一数据处理方式，包括：

解析所述定义数据源的代码、所述用于实现将所述数据源对应的数据映射为Schema格式数据的代码、所述用于实现对所述Schema格式数据进行SQL处理的逻辑代码和对所述Schema格式数据进行SQL处理后得到的数据的输出逻辑代码，得到所述数据处理任务的数据源、所述数据源对应的数据映射为Schema格式的数据、对所述Schema格式的数据进行SQL处理的逻辑和对所述Schema格式的数据进行SQL处理后得到的数据的输出逻辑。

4.根据权利要求2所述的方法，其特征在于，所述基于JSON配置的统一数据处理文件的生成过程，包括：

利用JSON语言编写定义数据源的代码；

利用JSON语言编写用于实现将所述数据源对应的数据映射为Schema格式数据的代码；

利用JSON语言编写用于实现对所述Schema格式数据进行SQL处理的逻辑代码；

利用JSON语言编写对所述Schema格式数据进行SQL处理后得到的数据的输出逻辑代码。

5.一种数据处理装置，其特征在于，包括：

接收模块，用于接收数据处理任务的基于JSON配置的统一数据处理文件；

解析模块，用于解析所述基于JSON配置的统一数据处理文件，得到统一数据处理方式；

选定模块，用于选定所述数据处理任务的计算引擎类型；

发送模块，用于发送所述统一数据处理方式和所述数据处理任务的计算引擎类型至集群服务器，以使所述集群服务器利用所述数据处理任务的计算引擎类型对应的计算引擎，按照所述统一数据处理方式执行所述数据处理任务。

6.根据权利要求5所述的装置，其特征在于，所述基于JSON配置的统一数据处理文件包括：

定义数据源的代码、用于实现将所述数据源对应的数据映射为Schema格式数据的代码、用于实现对所述Schema格式数据进行SQL处理的逻辑代码和对所述Schema格式数据进行SQL处理后得到的数据的输出逻辑代码。

7.根据权利要求6所述的装置，其特征在于，所述解析模块包括：

解析单元，用于解析所述定义数据源的代码、所述用于实现将所述数据源对应的数据映射为Schema格式数据的代码、所述用于实现对所述Schema格式数据进行SQL处理的逻辑代码和对所述Schema格式数据进行SQL处理后得到的数据的输出逻辑代码，得到所述数据处理任务的数据源、所述数据源对应的数据映射为Schema格式的数据、对所述Schema格式的数据进行SQL处理的逻辑和对所述Schema格式的数据进行SQL处理后得到的数据的输出逻辑。

8.根据权利要求6所述的装置，其特征在于，还包括：生成模块，用于利用JSON语言编写定义数据源的代码，及利用JSON语言编写用于实现将所述数据源对应的数据映射为Schema格式数据的代码，及利用JSON语言编写用于实现对所述Schema格式数据进行SQL处理的逻辑代码，及利用JSON语言编写对所述Schema格式数据进行SQL处理后得到的数据的输出逻辑代码。