[发明专利]数据模型的处理方法及装置

说明书

本申请公开一种数据模型的处理方法及装置，该处理方法包括：提供一第一数据模型和一第二数据模型，其中所述第一数据模型中包括初始日期和结束日期；按照预设条件根据所述初始日期和所述结束日期对所述第一数据模型中的数据进行过滤，得到过滤后的数据；基于所述第一数据模型与所述第二数据模型中含有的相同字段，将所述第一数据模型中过滤后的数据与所述第二数据模型进行关联查询。该处理方法通过在第一数据模型中，设置初次交易日期和末次交易日期，即交易的时段，在进行关联的时候通过限制交易时段过滤掉目标日期内未发生交易的数据，从而降低关联的数据量，达到优化的目的。

技术领域

本公开总体涉及数据管理技术领域，具体而言，涉及一种数据模型的处理方法及装置。

背景技术

随着互联网的快速发展，近年来电商的数量越来越多，人们也逐渐开始适应和依赖网上购物。对于电商而言，需要大量的对仓库数据以及订单数据进行统计、查询等相关操作。

其中数据仓库(Data Warehouse，可简写为DW或DWH)为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。数据仓库是单个数据存储，并出于分析性报告和决策支持目的而创建。为有业务智能管理需求的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。对于电商而言，数据仓库中最常用的就是主数据和交易数据，其中主数据(Master Data,简称MD)是指系统间共享数据，例如，客户、供应商、商品相关数据。与记录业务活动，波动较大的交易数据相比，主数据(也称基准数据)变化缓慢。交易数据是指采购订单、销售订单、结算单据等各其他业务的交易单类的数据，每天根据业务情况产生新的数据。

当前数据仓库中，主数据相关的模型一般都是设计为全量数据，即当前主数据模型中的数据为全部的主数据，在使用的时候，系统需要扫描全量数据(即一个表中全部的数据)，当交易数据模型与主数据模型需要关联查询的时候，主数据相关模型的数据量非常大时，如客户数据或者商品数，多达数亿或者数十亿，在进行全量查询的时候会消耗非常多的时间与计算机资源。

因此，需要一种新的数据模型的处理方法及装置。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开提供一种数据模型的处理方法及装置，以解决现有技术中对交易数据模型和主数据模型进行关联查询时对主数据模型进行全量数据的查询，需消耗大量的计算资源和时间的技术问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一方面，提供一种数据模型的处理方法，包括：

提供一第一数据模型和一第二数据模型，其中所述第一数据模型中包括初始日期和结束日期；

按照预设条件根据所述初始日期和所述结束日期对所述第一数据模型中的数据进行过滤，得到过滤后的数据；

基于所述第一数据模型与所述第二数据模型中含有的相同字段，将所述第一数据模型中过滤后的数据与所述第二数据模型进行关联查询。

在本公开的一种示例性实施例中，所述第一数据模型为主数据模型，所述第二数据模型为交易数据模型。

在本公开的一种示例性实施例中，所述主数据模型中的字段包括：标准库存单元、初次销售时间和末次销售时间，所述交易数据模型中的字段包括：标准库存单元、订单编号、下单用户账号、订单创建时间和分区字段。

在本公开的一种示例性实施例中，所述过滤后的数据为所述初始日期之前的数据、所述结束日期之后的数据、从所述初始日期到所述结束日期之间的数据或从所述初始日期到所述结束日期之间某一天的数据其中之一。