[发明专利]数据建模与数据加工一体化装置

说明书

本发明涉及数据仓技术领域，公开了数据建模与数据加工一体化装置，包括以下步骤：S1、大数据数仓基本规划；S2、业务领域相关模型创建与管理；S3、数据模型之间加工关系设定；S4、数据模型物理化；S5、数据加工任务生成；S6、数据加工任务管理，对加工任务的执行同期，任务上线、下线、执行情况进行管理。本发明数据模型创建适用于传统与大数据环境，逻辑模型物理化过程由程序自动化完成，并且数据建模过程通过可视化的方式进行，普通业务人员也能轻松操作，同时根据数据建模过程中的模型关系配置，系统自动生成数据加工任务，极大缩短了数据分析的流程，整个过程配置，降低了用户编程能力要求，数据模型创建与数据加工同步完成。

技术领域

本发明数据仓技术领域，尤其涉及数据建模与数据加工一体化装置。

背景技术

数据建模是利用各种专业软件，如Erwin，PowerDesigner，EA等，根据业务需求，直接建立模型，如指定数据库表中的符合长度要求的字母型名称、符合长度要求的字段的字母型名称等，数据加工是在数据建模过程中对数据进行加工的过程，数据加工也叫数字加工，主要针对报纸、书刊、杂志、图册、表单、公文等形式的纸介数据，通过专业化的解决方案，加工成PDF、Html、Txt、Doc、Xls等多种可编辑的电子文件格式。将保存在计算机内的文件进行条码识别实现海量存储，既可录入光盘，又可直接存入硬盘或外插优盘，通过信息管理系统，可任意检索、核对和网上查询、调阅、打印，实现资源共享。

现有的在计算机应用领域中，通过计算机进行信息管理已成为主要的应用，而数据加工处理是信息管理的必要手段，企业用户需要处理的数据量、数据种类逐渐增大与增多，希望通过数据分析工具挖掘数据价值，但现有的数据分析过程存在以下问题：

1、数据模型创建基本都是基于传统关系型数据库，逻辑模型要适用于不同的物理环境需要经过手工转换、修改与调整；

2、数据分析流程纷繁复杂，普通业务人员数据建模能力不足；

3、业务人员基本编程能力偏弱，难以快速建立数据加工任务并分析与挖掘企业数据。

为此，我们提出数据建模与数据加工一体化装置来解决上述问题。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的数据建模与数据加工一体化装置。

为了实现上述目的，本发明采用了如下技术方案：

数据建模与数据加工一体化装置，其特征在于，包括以下步骤：

S1、大数据数仓基本规划，根据应用业务需求，涉及业务系统数据空间分层、数据分域信息规划与配置，相关数据源添加与数据项目管理基本信息配置；

S2、业务领域相关模型创建与管理，按照维度建模的规范创建维度表、事实表与汇总表基本信息；

S3、数据模型之间加工关系设定，配置数据加工的原子指标、业务限定与派生指标，支撑配置自定义函数，并通过可视化方式创建表与表之间的加工关系；

S4、数据模型物理化，将S2、S3步骤创建的数据模型及加工过程中的自定义函数应用到指定的一个或多个S1步骤配置的数据源中；

S5、数据加工任务生成，根据S4步骤创建的加工关系拓扑与加工逻辑，自动生成相应的ETL数据加工任务；

S6、数据加工任务管理，对加工任务的执行同期，任务上线、下线、执行情况进行管理。

作为本申请中进一步的，根据S1，数据分层包括数据运营层、数据仓库层与数据服务层。

作为本申请中进一步的，根据S1，数据分域信息规划与配置包括按照用户企业的部门划分，也可以按照业务过程或者业务板块中的功能模块进行划分，同时配置类数据存储系统运行所需的各种配置信息。