[发明专利]自动建模方法及装置、电子设备及可读存储介质

说明书

本发明公开了一种自动建模方法及装置、电子设备及可读存储介质。其中，该方法包括：每隔第一预设周期获取目标数据库中的各个子查询分别对应的动态数据记录；在动态数据记录满足预设条件的情况下，确定对应的子查询为目标子查询；根据目标子查询构建逻辑模型；根据逻辑模型在目标数据库中建立对应的物理模型，并在目标数据库中利用物理模型替换目标子查询。本发明解决了由于相关技术中数据库中指标维度膨胀、模型泛滥以及查询日益复杂，而导致查询效率低下的技术问题。

技术领域

本发明涉及数据库技术领域，具体而言，涉及一种自动建模方法及装置、电子设备及可读存储介质。

背景技术

在互联网时代，数据仓库面临的现实情况是：数据存储量和数据计算量都井喷式的爆发，给数据仓库中数据的采集、存储和计算都带来了极大的挑战，加大了数据模型、数据研发、数据质量和运维保障工作的难度。

为了建设高效的数据模型和体系，使数据易用，同时需要避免重复建设和数据不一致性，保证数据的规范性。相关技术中提出并实施了一系列数据仓库管理的规范及系统：包括全局数据仓库规划、数据规范定义、数据建模研发、数据连接萃取、数据运维监控、数据资产管理工具等。这些极大程度缓解了上述的大多数问题。

通常而言，数据仓库中80％的查询需求都是相对固定的，例如每天的PV(PageView，页面浏览量)、UV(Unique visitor，独立访客)、订单数、成交金额是多少，这些查询需求的需求指标固定，只是在查询的维度上有所不同，那么可以将业务方常用的维度进行分析和再组合，开发固定的查询模型和报表，放到报表平台上，业务方可以自助查询。

针对另外20％的临时查询需求，并没有固定的查询格式，这类查询通常需要在多个数据表之间关联查询，或对单个数据表做一些特殊粒度的聚合，因此这类查询通常需要消耗大量的计算资源，而且查询速度非常慢。为了加快查询速度并节省资源，为了这些临时查询将查询模型固化建表。长此以往，这类临时性的模型，指标，维度会越来越多，消耗大量的存储资源。

可见，随着数据量和业务量的扩大，即使实施了很好的数据仓库管理规范和系统，很多数据仓库依然不可避免的出现指标维度膨胀，模型泛滥，查询效率低下的问题。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种自动建模方法及装置、电子设备及可读存储介质，以至少解决由于相关技术中数据库中指标维度膨胀、模型泛滥以及查询日益复杂，而导致查询效率低下的技术问题。

根据本发明实施例的一个方面，提供了一种自动建模方法，包括：每隔第一预设周期获取目标数据库中的各个子查询分别对应的动态数据记录；在所述动态数据记录满足预设条件的情况下，确定对应的子查询为目标子查询；根据所述目标子查询构建逻辑模型；根据所述逻辑模型建立对应的物理模型，并在所述目标数据库中利用所述物理模型替换所述目标子查询。

根据本发明实施例的另一方面，还提供了一种自动建模装置，包括：获取单元，用于每隔第一预设周期获取目标数据库中的各个子查询分别对应的动态数据记录；确定单元，用于在所述动态数据记录满足预设条件的情况下，确定对应的子查询为目标子查询；第一建模单元，用于根据所述目标子查询构建逻辑模型；第二建模单元，用于根据所述逻辑模型建立对应的物理模型，并在所述目标数据库中利用所述物理模型替换所述目标子查询。

根据本发明实施例的另一方面，还提供了一种电子设备，其特征在于，包括处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如上所述的自动建模方法的步骤。

根据本发明实施例的另一方面，还提供了一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如上所述的自动建模方法的步骤。