[发明专利]一种复合营收的数据分层拆分方法

说明书

本发明涉及一种复合营收的数据分层拆分方法，包括以下步骤：S1、分别从返佣系统、团结算系统、订单系统和录入系统中获取数据源，其中，数据源包括收入支出数据和订单数据；S2、基于分层管理，将数据源同步到数据仓库中心，通过拆分模型对收入支出数据和订单数据进行处理，以将收入支出数据拆分到对应的订单数据上，完成宽表构建。与现有技术相比，本发明采用分层管理的数据仓库，针对来自不同业务系统的收入支出数据，分别结合订单数据进行拆分，既简化了数据处理过程，同时能够增加订单拆分维度，保证构建宽表的准确性。

技术领域

本发明涉及互联网数据处理技术领域，尤其是涉及一种复合营收的数据分层拆分方法。

背景技术

在营收数据的处理过程中，如果在在线上或线下发生一笔收益或者支出成本，通常需要按照一定的逻辑，将该笔收益或者支出成本拆分到对应的订单上，以计算得到不同品类或者渠道的效益，整个数据处理过程比较复杂，需要依托数据中心强大的运算能力与存储能力。

为了简化数据处理过程，传统的数据处理方式是将该笔收益或者支出成本数据作为一笔整体费用，并在最后计入收入项或者成本项，但在实际应用中，由于和产品供应商签署的合同中返佣占比较大，导致部分产品订单数据原本的毛利率偏低，如果不提前加入这部分收益或支出成本数据的话，从订单维度考核该产品的盈利能力会存在漏洞。

此外，目前的数据处理方法通常无法对数据进行有效拆分，一方面由于从业务系统获取的数据过多，对大量数据同时进行预处理，将导致数据仓库存在大量冗余数据；另一方面，如果源业务系统的业务规则发生变化，也会使得整个数据仓库需要重建，这将影响整个数据处理过程，产生巨大的计算量，最终导致拆分的订单维度不能满足要求，构建的宽表数据准确性不够，也就不能真实反映该产品的投入产出效益。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种复合营收的数据分层拆分方法，通过分层管理和数据拆分的方式，能够有效简化数据处理过程、扩展订单维度，从而保证全面真实地反映投入产出效益。

本发明的目的可以通过以下技术方案来实现：一种复合营收的数据分层拆分方法，包括以下步骤：

S1、分别从返佣系统、团结算系统、订单系统和录入系统中获取数据源，其中，数据源包括收入支出数据和订单数据；

S2、基于分层管理，将数据源同步到数据仓库中心，通过拆分模型对收入支出数据和订单数据进行处理，以将收入支出数据拆分到对应的订单数据上，完成宽表构建。

进一步地，所述收入支出数据分别从返佣系统、团结算系统和录入系统获取，所述订单数据从订单系统获取。

进一步地，所述宽表包括主题数据表、有效订单成本收益表和子单维度团成本中间表。

进一步地，所述步骤S2具体包括以下步骤：

S21、针对从返佣系统获取的收入支出数据，结合订单数据，进行增量业绩订单的数据拆分，得到主题数据表；

S22、针对从录入系统获取的收入支出数据，结合订单数据，进行全量业绩订单的数据拆分，得到有效订单成本收益表；

S23、针对从团结算系统获取的收入支出数据，结合订单数据，进行团结算订单的数据拆分，得到子单维度团成本中间表。

进一步地，所述步骤S21具体包括以下步骤：

S211、对订单数据和从返佣系统获取的收入支出数据同时进行预处理，得到对应的订单信息表和返佣数据表，其中，预处理包括抽取、转换、清洗和加载；

S212、将订单信息表和返佣数据表同步至数据仓库后，输入给数据仓库中的拆分模型，得到主题数据表。