[发明专利]数据处理方法、装置、电子设备及存储介质

说明书

本发明实施例涉及一种数据处理方法、装置、电子设备及存储介质，所述方法包括：获取全部业务线的原始数据；将所述原始数据按照对应的业务线分别存储在第一数据库的对应位置；对所述第一数据库存储的原始数据进行分布式处理，将处理完成后的原始数据存储在预设缓存区域；调用所述预设缓存区域存储的处理完成后的原始数据，计算得到目标数据；将所述目标数据存储在第二数据库中，以使数据调用程序调用所述第二数据库中存储的目标数据，由此方法，通过两种数据库共同存储数据以及应用分布式集群对数据进行分布式处理，可以处理大量集中的高并发操作，提高数据处理效率，保证系统稳定性。

技术领域

本发明实施例涉及数据处理领域，尤其涉及一种数据处理方法、装置、电子设备及存储介质。

背景技术

自如朱墨系统是为了管理公司运营成本而生成的财务报表系统。该系统展现了公司的盈利状况。报表内容主要分成三大块，收入、成本和利润。其中成本里面有些公共成本不应该摊派到具体的某个城市或者大区的项目身上，或者不应该全部分摊到某一项目上，而是根据具体的规则分摊到全部项目上。而朱墨系统就是为了做这个事情孕育而生的。

朱墨系统面临的数据量非常大，随着业务线的数据不断加入，系统的性能就面临着越来越大的压力。由于成本分摊计算的数据量比较大，当前系统架构存在一些瓶颈问题，如下：

数据量大，计算复杂；随着各个业务线(长租、资管、曼舍、家服、家装等)的增加，数据量也越来越多，参与成本分摊计算的逻辑也越来越多，单实例单数据库及单表已经越来越不能满足系统的要求。而且每个业务线的处理维度也不相同，比如说长租是按照出房合同号进行数据管理的，而资管业务线是按照库存进行数据管理的；每个业务线的报表项的个数及内容也不相同。

程序执行的结构单一；执行流程是单一的串行逻辑，每执行一步都需要等上一步执行完毕才能进行下一步。具体执行步骤如图1所示，该程序处理流程为串行逻辑处理，每一步都要等待上一步执行完毕才行，其中第八步与第九步最为耗时，这两步里面存在大量的计算逻辑处理，所以执行时间比较长，等待时间就比较久。

成本分摊系数存在聚合函数；在计算逻辑中，需要计算分摊系数即具体的分摊占比，其中分子根据查询条件找到合同下的具体某个分摊规则的数值；分母则是根据分摊数据的查询条件汇总出来的一个总计数值，由于这个查询条件的查询项不定，并且查询只能全盘扫描，导致查询效率低下，且查询内容也不一致。所以导致很难在这个查询上加索引来提高查询效率。

随着报表项的增加，性能降低；由于系统目前选用的是关系型数据库Mysql，且在运行过程中随着报表项的增加而进行横向扩展，单表横向扩展的列逐渐增多，读写的能力就会逐渐下降，这个是由关系型数据库的特点决定的。关系型数据库无法应对每秒上万次的读写请求，无法处理大量集中的高并发操作。

发明内容

鉴于此，为解决上述技术问题或部分技术问题，本发明实施例提供一种数据处理方法、装置、电子设备及存储介质。

第一方面，本发明实施例提供一种数据处理方法，包括：

获取全部业务线的原始数据；

将所述原始数据按照对应的业务线分别存储在第一数据库的对应位置；

对所述第一数据库存储的原始数据进行分布式处理，将处理完成后的原始数据存储在预设缓存区域；

调用所述预设缓存区域存储的处理完成后的原始数据，计算得到目标数据；

将所述目标数据存储在第二数据库中，以使数据调用程序调用所述第二数据库中存储的目标数据。

在一个可能的实施方式中，所述方法还包括：

获取分布式集群中每个节点设备的数据处理能力信息；