[发明专利]一种处理报表数据的方法和装置

说明书

本发明公开了一种处理报表数据的方法和装置，属于数据处理技术领域。所述方法包括：预先确定目标报表的各SQL语句的数据库标识，并基于所述数据库标识对各SQL语句进行适应式修改，其中，所述数据库标识至少包括MySQL数据库标识和HIVE数据库标识；当取出目标SQL语句时，在所述目标SQL语句的数据库标识对应的数据库上执行所述目标SQL语句，得到所述目标SQL语句的指标计算结果并缓存在本地；如果检测到报错，则基于报错类型对应的处理策略以及缓存的指标计算结果，自动对所述目标报表进行生成处理。采用本发明，可以提高报表生成效率。

技术领域

本发明涉及数据处理技术领域，特别涉及一种处理报表数据的方法和装置。

背景技术

随着计算机技术的飞速发展，企业在经营过程中产生了海量的数据，如订单、库存、客户信息等业务信息。为了对这些数据进行整合分析，便于决策，企业通常采用BI(Business Intelligence，商务智能)系统对这些数据进行处理。

BI系统可以对企业的各项数据进行整合，然后以报表的方式呈现给企业的管理人员。以二手车企业的业务日报表为例，首先，运行有BI系统的服务端可以从各个存储有业务数据的数据库中调取与待生成报表相关的数据，然后汇总到MySQL数据库。之后，上述服务端可以通过MySQL数据库的SQL语句，在MySQL数据库中对上述业务日报表的各指标(如当日各部门业绩或各员工业绩)进行数据查询与计算，得到各指标的指标计算结果。最后，上述服务端可以基于各个指标计算结果生成上述业务日报表。

在实现本发明的过程中，发明人发现现有技术至少存在以下问题：

由于在MySQL数据库中执行SQL语句用时较长，短则几分钟，长则十几乃至几十分钟，因此，当数据量很大时，BI系统需要很长的时间才能够生成一张报表，无法满足报表生成需求。另外，对于因报错而导致BI系统自动停止生成报表的情况，只有接收到人工输入的重启指令，BI系统才可以继续生成报表，并且BI系统将对报表的所有指标的数据进行重新处理，故而生成报表的效率较低。

发明内容

为了解决现有技术的问题，本发明实施例提供了一种处理报表数据的方法和装置。所述技术方案如下：

第一方面，提供了一种处理报表数据的方法，所述方法包括：

预先确定目标报表的各SQL语句的数据库标识，并基于所述数据库标识对各SQL语句进行适应式修改，其中，所述数据库标识至少包括MySQL数据库标识和HIVE数据库标识；

当取出目标SQL语句时，在所述目标SQL语句的数据库标识对应的数据库上执行所述目标SQL语句，得到所述目标SQL语句的指标计算结果并缓存在本地；

如果检测到报错，则基于报错类型对应的处理策略以及缓存的指标计算结果，自动对所述目标报表进行生成处理。

进一步的，所述预先确定目标报表的各SQL语句的数据库标识，包括：

获取所述目标报表的各SQL语句在MySQL数据库的执行时间；

将所述执行时间超过预设时间的SQL语句的数据库标识，确定为HIVE数据库标识。

进一步的，所述预先确定目标报表的各SQL语句的数据库标识之后，还包括：

将所述目标报表的各SQL语句所需的业务数据，同步至各SQL语句的数据库标识所对应的数据库。

进一步的，所述方法还包括：

周期性检测数据库报错或SQL语句报错；

所述如果检测到报错，则基于报错类型对应的处理策略以及缓存的指标计算结果，自动对所述目标报表进行生成处理，包括：