[发明专利]数据模型的生成方法和装置

说明书

本发明提供一种数据模型的生成方法和装置，从用户输入的第一SQL语句中提取目标指标和目标维度的特征字段，从全量特征库中确定目标指标的可替换指标，该全量特征库中存储有数据仓库中的SQL语句的指标和维度的特征字段，根据可替换指标和所述目标维度重组得到第二SQL语句，输出第二SQL语句。重组得到的第二SQL语句为第一SQL语句的可替换语句，能够满足用户的查询需求，该方法能够自动从已有SQL语句的特征字段提取本次加工所需要的维度和指标，利用已有的维度和指标重组SQL语句，完成数据模型的开发，提高了已有数据模型的利用率，避免重复开发造成的资源浪费。

技术领域

本发明涉及大数据技术领域，尤其涉及一种数据模型的生成方法和装置。

背景技术

数据仓库(data warehouse，简称DW)是为了研究和解决从数据库中获取信息的问题，数据仓库中的数据是对原有分散的数据库进行数据抽取、清理的基础上经过加工、汇总和整理得到的。数据仓库的数据主要供企业决策分析用，所涉及的数据操作主要是数据查询，数据进入数据仓库之后，会长期被保留，但修改和删除操作很少。

数据仓库中的数据通常以数据模型(也称为数据表)的形式存储，数据模型的建立是数据开发的难点和关键，现有技术中，通常由开发人员人工调研开发数据模型的指标和维度是否存在，根据调研结果进行一步通过人工写脚本进行开发。

但是，现有数据模型的开发效率低，重复开发带了数据大量冗余。

发明内容

本发明提供一种数据模型的生成方法和装置，提高了已有数据模型的利用率，避免重复开发造成的资源浪费。

第一方面，本发明提供一种数据模型的生成方法，包括：

从用户输入的第一结构化查询语言SQL语句中提取目标指标和目标维度的特征字段；

从全量特征库中确定所述目标指标的可替换指标，其中，所述全量特征库中存储有数据仓库中的SQL语句的指标和维度的特征字段，所述指标和维度的特征字段包括类型、全局唯一字段名称以及以下字段中的一个或者多个字段：字段名称、字段所在表、来源表路径、来源字段路径、过滤条件、计算逻辑；

根据所述可替换指标和所述目标维度重组得到第二SQL语句，输出所述第二SQL语句，所述第二SQL语句为所述第一SQL语句的可替换语句。

可选的，所述从全量特征库中确定所述目标指标的可替换指标，包括：

针对每个所述目标指标，获取所述目标指标的全局唯一名称字段；

从所述全量特征库中查询与所述目标指标的全局唯一名称字段相同的所有指标组成第一候选指标集合；

根据所述目标指标的来源表路径，从所述第一候选指标集合中确定与所述目标指标的来源表路径相同的指标，得到第二候选指标集合；

根据所述目标指标的来源字段路径，从所述第二候选指标集合中确定与所述目标指标的来源字段路径相同的指标，得到第三候选指标集合；

根据所述目标指标的计算逻辑，从所述第三候选指标集合中确定与所述目标指标的计算逻辑相同的指标，得到第四候选指标集合；

根据所述目标指标的过滤条件，从所述第四候选指标集合中确定与所述目标指标的过滤条件相同的指标，得到所述目标指标的可替换指标。

可选的，所述第一SQL语句中包括多个目标指标，所述根据所述可替换指标和所述目标维度重组得到第二SQL语句，包括：

当所述第一SQL语句中的多个目标指标的可替换指标的字段所在表均相同时，将所述第一SQL语句中的多个目标指标替换为可替换指标得到所述第二SQL语句。

可选的，所述第一SQL语句中包括多个目标指标，所述根据所述可替换指标和所述目标维度重组得到第二SQL语句，包括：