[发明专利]一种数据处理方法、装置、设备及计算机可读存储介质

说明书

本发明公开了一种数据处理方法、装置、设备及计算机可读存储介质。该方法包括：接收数据源配置参数，根据数据源配置参数与目标数据源建立连接；目标数据源中包括多个数据表；接收数据选择指令，根据数据选择指令从多个数据表中确定度量表和维度表；接收数据关联指令，根据数据关联指令中包括的关联关系，将度量表和维度表，按照数据关联模型进行相互关联；接收参数设定指令，根据参数设定指令生成膨胀信息；采用膨胀信息，对关联后的度量表和维度表进行数据膨胀，获得数据立方体。本发明提高了数据处理的效率。

技术领域

本发明涉及数据分析技术领域，尤其涉及一种数据处理方法、装置、设备及计算机可读存储介质。

背景技术

数据仓库的多维数据模型是为了满足用户从多角度、多层次进行数据查询和分析的需要，而建立起来的基于事实表和维的数据库模型，基本的应用是为了实现联机分析处理(Online Analytical Processing，OLAP)。

当然，通过多维数据模型的数据展示、查询和获取就是其作用的展现，但其真实作用的实现在于，通过数据仓库可以根据不同的数据需求建立起各类多维模型，并组成数据集市开放给不同的用户群体使用，也就是根据需求定制的各类数据商品摆放在数据集市中供不同的数据消费者进行采购。

相关技术中，这种多维数据模型的实现方式一般是基于hadoop生态圈来完成数据维度及度量的数据膨胀。通常使用hadoop生态圈来完成数据膨胀需要部署多个节点来完成数据的计算，即分治思想的具体实现。但是，hadoop通常用于亿万级规模的数据量，对于千万级规模的数据量来说，部署多节点会造成部分节点的资源使用不饱和，即造成硬件资源的浪费。而且如果用关系型数据模型去进行数据膨胀时，千万级规模数据量用结构化查询语言进行数据膨胀时需要人为进行大量复杂的操作，且数据膨胀性能欠佳。也就是说，相关技术中，针对千万级规模数据量的数据处理缺少性能优良的处理方法。

发明内容

本发明期望提供一种数据处理方法、装置、设备及计算机可读存储介质，可以提高数据处理的效率。

本发明的技术方案是这样实现的：

一种数据处理方法，包括：接收数据源配置参数，根据所述数据源配置参数与目标数据源建立连接；所述数据源配置参数用于表征所述目标数据源的描述信息，所述目标数据源中包括多个数据表；接收数据选择指令，根据所述数据选择指令，从所述多个数据表中确定至少一个度量表和至少一个维度表；接收数据关联指令，根据所述数据关联指令中包括的关联关系，将所述至少一个度量表和所述至少一个维度表按照数据关联模型进行相互关联；接收参数设定指令，根据所述参数设定指令生成膨胀信息；采用所述膨胀信息，对关联后的所述至少一个度量表和所述至少一个维度表进行数据膨胀，获得数据立方体。

一种数据处理装置，包括：业务数据层，用于接收数据源配置参数，根据所述数据源配置参数与目标数据源建立连接；所述数据源配置参数用于表征所述目标数据源的描述信息；所述目标数据源中包括多个数据表；数据仓库层，用于接收数据选择指令，根据所述数据选择指令从所述多个数据表中确定至少一个度量表和至少一个维度表；关系层，用于接收数据关联指令，根据所述数据关联指令中包括的关联关系，将所述至少一个度量表和所述至少一个维度表按照数据关联模型进行相互关联；引擎层，用于接收参数设定指令，根据所述参数设定指令生成膨胀信息；采用所述膨胀信息，对关联后的所述至少一个度量表和所述至少一个维度表进行数据膨胀，获得数据立方体。

一种数据处理设备，包括：存储器，用于存储可执行数据指令；处理器，用于执行所述存储器中存储的可执行指令时，实现上述的数据处理的方法。

一种计算机可读存储介质，存储有可执行指令，用于引起处理器执行时，实现上述的数据处理的方法。