[发明专利]针对开放式数据处理服务的优化方法和装置

说明书

本申请公开了一种针对开放式数据处理服务的优化方法和装置，属于计算机通信领域。所述方法包括：获取用户的当前作业，查找所述当前作业的源头字段；建立所述当前作业中的所有字段对应的所有数据之间的上下游关系；计算得到所述当前作业中的各个字段的归一化表达式、字段计算成本；利用所述当前作业中的各个字段的归一化表达式，依据所述当前作业中的各个字段的字段计算成本，对所述当前作业中的各个字段进行优化，得到所述当前作业中的各个字段的最优归一化表达式、最优字段计算成本；将所述当前作业对应的当前作业代码优化为能够得到所述最优归一化表达式、所述最优字段计算成本的最优作业代码。可以自动实现全局优化，且优化成本低。

技术领域

本申请涉及计算机通信领域，具体涉及一种针对开放式数据处理服务的优化方法和装置。

背景技术

随着计算机通信技术的发展，能够为用户提供针对PB级别数据的、实时性要求相对不高的批量处理能力的开放式数据处理服务受到了用户的喜欢。开放式数据处理服务主要应用于数据分析、海量数据统计、数据挖掘、商业智能等领域。开放式数据处理服务可以以多租户共享的公有云方式提供（面向针对中小型企业和开发者），也可以以私有云的方式部署在客户企业内部（面向大中型企业）。

开放式数据处理服务需要使用到开放式的、大规模的数据仓库，数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持（Decision Support）。大规模数据仓库的数据结构从技术角度可以划分为三个部分：分段存储区、基础数据仓库和数据集市。数据仓库的上层应用，如BI报表、决策分析产品、即席查询、数据挖掘等主要依赖于数据集市的聚合数据（其中数据挖掘还会大量依赖于基础数据仓库）。数据集市的聚合数据的复用程度基本上决定了数据仓库的效率，而数据集市的聚合数据的复用程度取决于以下几个条件：数据集市的模型和汇总层级等架构是否总是准确满足上层业务的需求，并且能够适应业务系统的快速变化；是否有相应的工具和系统支持，帮助上层业务系统的开发者是否总是能够准备找到、理解数据集市中的各种数据；数据集市的更新也需要上次业务团队积极响应和实施变更。目前，主要依赖于数据架构师/架构小组的个人能力来保证上述的条件被满足。但是随着企业的业务的增长，数据的规模在快速膨胀，特别是平台性质的公有数据仓库，通过传统的自顶向下的方式来维护数据集市变得一个不可能完成的任务，从而导致数据仓库中存在着大量的重复运算和重复存储。一般情况下，数据仓库专家，业务模型专家会定期实施数据仓库重构，即针对开放式数据处理服务进行全局优化。

现有针对开放式数据处理服务的优化方法，在进行全局优化时，需要在精通业务和数据处理知识的专家领导下进行周期性重构，现有针对开放式数据处理服务的优化方法无法自动实现全局优化，且优化成本高。

发明内容

本申请所要解决的技术问题在于提供一种针对开放式数据处理服务的优化方法和装置，不需要理解业务，由平台服务提供商作为一项服务提供，用户不需要专门投入专家进行优化，用户只需点击一下，选择使用该业务即可，可以自动实现全局优化，且优化成本远低于培养和聘请一个/群专家。

为了解决上述问题，本申请公开了一种针对开放式数据处理服务的优化方法，所述方法包括：

获取用户的当前作业，查找所述当前作业的源头字段；

以所述当前作业的源头字段对应的数据为起始点，以字段为粒度，建立所述当前作业中的所有字段对应的所有数据之间的上下游关系，其中，在建立数据之间的上下游关系时，将作为计算第一数据的直接或间接输入之一的第二数据称为所述第一数据的上游，所述第一数据称为第二数据的下游，且当所述第一数据是所述第二数据的唯一下游数据，所述第二数据是所述第一数据的唯一上游数据时，将所述第二数据称为所述第一数据的直接上游，所述第一数据称为所述第二数据的直接下游；

根据所述当前作业中的所有字段对应的所有数据之间的上下游关系，计算得到所述当前作业中的各个字段的归一化表达式；