[发明专利]针对开放式数据处理服务的优化方法和装置

权利要求书

1.一种针对开放式数据处理服务的优化方法，其特征在于，所述方法包括：

获取用户的当前作业，查找所述当前作业的源头字段；

以所述当前作业的源头字段对应的数据为起始点，以字段为粒度，建立所述当前作业中的所有字段对应的所有数据之间的上下游关系；

根据所述当前作业中的所有字段对应的所有数据之间的上下游关系，计算得到所述当前作业中的各个字段的归一化表达式；

根据所述当前作业中的各个字段的归一化表达式，计算得到所述当前作业中的各个字段的字段计算成本；

利用所述当前作业中的各个字段的归一化表达式，依据所述当前作业中的各个字段的字段计算成本，对所述当前作业中的各个字段进行优化，得到所述当前作业中的各个字段的最优归一化表达式、最优字段计算成本；

将所述当前作业对应的当前作业代码优化为能够得到所述最优归一化表达式、所述最优字段计算成本的最优作业代码。

2.如权利要求1所述的方法，其特征在于，

在建立数据之间的上下游关系时，将作为计算第一数据的直接或间接输入之一的第二数据称为所述第一数据的上游，所述第一数据称为第二数据的下游，且当所述第一数据是所述第二数据的唯一下游数据，所述第二数据是所述第一数据的唯一上游数据时，将所述第二数据称为所述第一数据的直接上游，所述第一数据称为所述第二数据的直接下游。

3.如权利要求2所述的方法，其特征在于，查找所述当前作业的源头字段，包括：

扫描所述当前作业对应的当前作业代码；

解析所述当前作业代码中包含的数据的输入输出路径；

根据所述当前作业代码中包含的数据的输入输出路径，从所述当前作业代码或所述当前作业代码对应的数据仓库中，查找到与所述当前作业代码对应的只有数据输出没有数据输入的源头数据单元；

将所述源头数据单元中包括的字段作为源头字段。

4.如权利要求1或3所述的方法，其特征在于，获取用户的当前作业时，还包括：

获取所述当前作业对应的优化时机信息，其中，所述优化时机信息包括静态优化或动态优化；

当所述优化时机信息为所述静态优化时，将所述当前作业对应的当前作业代码优化为能够得到所述当前作业中的各个字段的最优归一化表达式、最优字段计算成本的最优作业代码之后，还包括：

将所述最优作业代码返回给所述用户；

当所述用户确认使用所述最优作业代码替换所述当前作业代码时，将所述当前作业代码替换为所述最优作业代码；

当所述优化时机信息为动态优化时，将所述当前作业对应的当前作业代码优化为能够得到所述当前作业中的各个字段的最优归一化表达式、最优字段计算成本的最优作业代码之后，还包括：

将所述当前作业代码替换为所述最优作业代码。

5.如权利要求1或3所述的方法，其特征在于，获取用户的当前作业时，还包括：

获取所述当前作业对应的优化对象信息，其中，所述优化对象信息包括增量优化或全量优化；

当所述优化对象信息为所述增量优化时，判断所述当前作业代码对应的数据仓库中是否存在有与所述当前作业相关的关联作业；

如果所述数据仓库中存在有与所述当前作业相关的关联作业，则判断所述关联作业中的各个字段是否有对应的归一化表达式和字段计算成本；

如果所述关联作业中的各个字段有对应的归一化表达式和字段计算成本，则执行查找所述当前作业的源头字段的步骤；

当所述优化对象信息为所述全量优化时，判断所述当前作业代码对应的数据仓库中是否存在有与所述当前作业相关的关联作业；

如果所述数据仓库中存在有与所述当前作业相关的关联作业，则判断所述关联作业是否已经被优化过；

如果所述关联作业已经被优化过，则执行查找所述当前作业的源头字段的步骤。

6.如权利要求5所述的方法，其特征在于，当所述优化对象信息为所述增量优化，判断所述当前作业代码对应的数据仓库中是否存在有与所述当前作业相关的关联作业之后，还包括：

如果所述数据仓库中没有存在有与所述当前作业相关的关联作业，则执行查找所述当前作业的源头字段的步骤。