[发明专利]数据处理方法、装置、电子设备及计算机可读介质

说明书

本申请实施例提供了一种数据处理方法、装置、电子设备及计算机可读介质，涉及数据仓库领域。其中，所述方法包括：对从不同的数据源实时获取的业务对象数据进行统一解析，以获得用于生成业务对象数据表的业务对象结构化数据；将所述业务对象结构化数据分别加载至第一数据仓库和第二数据仓库，使得所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表，并且使得所述第二数据仓库根据所述业务对象结构化数据离线生成预设时间段内的所述业务对象数据表。本申请实施例通过对从不同的数据源实时获取的业务对象数据进行统一解析，只需开发和运行维护一套ETL解析逻辑，而无需开发和运行维护多套ETL解析逻辑，大大减轻人力成本。

技术领域

本申请实施例涉及数据仓库领域，尤其涉及一种数据处理方法、装置、电子设备及计算机可读介质。

背景技术

目前，数据仓库对业务系统中的数据进行处理一般建立在ETL数据处理理论的基础上的，ETL是指Extraction(抽取)、Transformation(转换)、和Loading(加载)。具体地，将业务系统中的数据抽取出来，并将不同的数据按照业务需要进行转换和解析，得到目标数据，然后将目标数据加载到数据仓库中。

在数据仓库应用于品牌广告投放平台的场景中，品牌广告投放平台通常需要品牌广告的离线数据仓库和品牌广告的实时数据仓库。品牌广告的离线数据仓库方便于品牌广告主在品牌广告投放平台查看品牌广告的天级报表和小时级报表。品牌广告的实时数据仓库方便于品牌广告主在品牌广告投放平台查看品牌广告的分钟级报表和秒级报表。然而，品牌广告的离线数据仓库和品牌广告的实时数据仓库分别采用一套ETL解析逻辑，这样，就需要开发和运行维护两套ETL解析逻辑，不仅提高了ETL解析逻辑的运行维护成本，而且还增长了ETL解析逻辑的开发周期，从而大大增加了人力成本。

由此可见，如何降低ETL解析逻辑的运行维护成本，并缩短ETL解析逻辑的开发周期成为当前亟待解决的技术问题。

发明内容

本申请的目的在于提出一种数据处理方法、装置、电子设备及计算机可读介质，用于解决现有技术中存在的如何降低ETL解析逻辑的运行维护成本，并缩短ETL解析逻辑的开发周期的技术问题。

根据本申请实施例的第一方面，提供了一种数据处理方法。所述方法包括：对从不同的数据源实时获取的业务对象数据进行统一解析，以获得用于生成业务对象数据表的业务对象结构化数据；将所述业务对象结构化数据分别加载至第一数据仓库和第二数据仓库，使得所述第一数据仓库根据所述业务对象结构化数据实时生成所述业务对象数据表，并且使得所述第二数据仓库根据所述业务对象结构化数据离线生成预设时间段内的所述业务对象数据表。

根据本申请实施例的第二方面，提供了一种数据处理方法。所述方法包括：第一数据仓库获取ETL工具加载的用于生成第一业务对象数据表的业务对象结构化数据，所述业务对象结构化数据为所述ETL工具对从不同的数据源实时获取的业务对象数据进行统一解析获得的；所述第一数据仓库根据所述业务对象结构化数据实时生成所述第一业务对象数据表；所述第一数据仓库将所述第一业务对象数据表导入业务对象投放平台进行展示。

根据本申请实施例的第三方面，提供了一种数据处理方法。所述方法包括：第二数据仓库获取ETL工具加载的用于生成预设时间段内的第二业务对象数据表的业务对象结构化数据，所述业务对象结构化数据为所述ETL工具对从不同的数据源实时获取的业务对象数据进行统一解析获得的；所述第二数据仓库根据所述业务对象结构化数据离线生成所述第二业务对象数据表；所述第二数据仓库将所述第二业务对象数据表导入业务对象投放平台进行展示。