[发明专利]数据仓库、数据更新和调用方法、装置及设备

说明书

本说明书实施例公开了数据仓库、数据更新和调用方法、装置及设备。所述数据仓库包括：原始素材层、镜像层、应用视图层，所述原始素材层用于获取并存储原始数据，所述原始数据源于业务数据库的业务日志表，所述镜像层用于从所述原始素材层获取所述原始数据，并对所述原始数据进行合并并分主题存储，所述应用视图层用于存储所述镜像层的主题名称，并调用所述镜像层中的数据用于输出，其中，各所述主题名称与所述镜像层内存储的数据建立定向关系。本方案提供的数据仓库在Hive的基础上增加了镜像层，因此可以对数据进行添加、更新或删除等数据合并的操作，然后将合并后的数据存储到镜像层，这样能更好的支持MySQL发生的update/delete的数据。

技术领域

本申请涉及计算机技术领域，尤其涉及一种数据仓库、数据更新和调用方法、装置及设备。

背景技术

现有技术中，Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。现有的数据仓库采用Hive的比较多，但是Hive是一种底层封装了Hadoop的数据仓库处理工具，使用类SQL的HiveQL语言实现数据查询，所有Hive的数据都存储在Hadoop兼容的文件系统(例如，Amazon S3、HDFS)中。Hive在加载数据过程中不会对数据进行任何的修改，只是将数据移动到HDFS中Hive设定的目录下，因此，Hive不支持对数据的改写和添加。因此，Hive对于数据源MySQL发生的update/delete的数据无法很好地进行支持。

发明内容

有鉴于此，本说明书实施例提供了一种数据仓库、数据更新和调用方法、装置及设备，用于提高数据仓库的对数据变更的适配度。

为解决上述技术问题，本说明书实施例是这样实现的：

一种数据仓库，其特征在于，所述数据仓库包括：原始素材层、镜像层、应用视图层，所述原始素材层用于获取并存储原始数据，所述原始数据源于业务数据库的业务日志表，所述镜像层用于从所述原始素材层获取所述原始数据，并对所述原始数据进行合并并分主题存储，所述应用视图层用于存储所述镜像层的主题名称，并调用所述镜像层中的数据用于输出，其中，各所述主题名称与所述镜像层内存储的数据建立定向关系。

本说明书实施例提供的一种数据更新方法，包括：

监测原始素材层的新增数据，所述新增数据来自业务数据库的业务日志表；

当监测到所述新增数据时，获取所述新增数据；

确定所述新增数据的数据变更类型和主题名称；

从镜像层中调取所述主题名称对应的原始数据表；

根据所述数据变更类型将所述新增数据与所述原始数据表中的数据进行合并，得到更新后的数据表；

将所述更新后的数据表按照更新时间存储在镜像层中，所述镜像层中的数据表表示用户的属性信息和操作信息。

本说明书实施例提供的一种数据调用方法，包括：

接收数据调用请求；

确定所述数据调用请求的主题名称；

根据所述主题名称去镜像层调用所述主题名称对应的存储数据；

将所述存储数据发送至所述数据调用请求的发起方设备。

本说明书实施例提供的一种数据更新装置，包括：

新增数据检测模块，用于监测原始素材层的新增数据，所述新增数据来自业务数据库的业务日志表；

新增数据获取模块，用于当监测到所述新增数据时，获取所述新增数据；