[发明专利]数据处理方法及装置

权利要求书

1.一种数据处理方法，包括：

获取对应多种数据源的指标类数据和明细类数据；

按照指标数据库的存储结构对每种数据源的指标类数据进行处理，获得目标指标类数据；

按照列式数据库的存储结构对每种数据源的明细类数据进行处理，获得目标明细类数据；

将所述目标指标类数据写入所述指标数据库，以及将所述目标明细类数据写入所述列式数据库。

2.根据权利要求1所述的数据处理方法，所述获取对应多种数据源的指标类数据和明细类数据，包括：

接收针对目标业务提交的数据报送请求；

根据所述数据报送请求向目标业务关联的至少两个业务节点发送数据上传请求；

接收各个业务节点针对所述数据上报请求返回的业务数据；

通过对所述业务数据进行分类，获得对应多种数据源的指标类数据和明细类数据。

3.根据权利要求1所述的数据处理方法，所述按照指标数据库的存储结构对每种数据源的指标类数据进行处理，获得目标指标类数据，包括：

确定每种数据源的存储结构与所述指标数据库的存储结构之间的转换规则；

按照所述转换规则对每种数据源的指标类数据进行处理，获得与所述指标数据库的存储结构相同的所述目标指标类数据。

4.根据权利要求1所述的数据处理方法，所述按照列式数据库的存储结构对每种数据源的明细类数据进行处理，获得目标明细类数据，包括：

将每种数据源对应的明细类数据同步至中间业务数据库；

按照每种数据源对应的结构转换规则对所述中间业务数据库中的明细类数据进行转换；

根据转换结果生成与所述列式数据库的存储结构相同的所述目标明细类数据。

5.根据权利要求4所述的数据处理方法，所述按照每种数据源对应的结构转换规则对所述中间业务数据库中的明细类数据进行转换，包括：

对所述中间业务数据库中的明细类数据进行解析，获得初始子数据；

在所述初始子数据中筛选出目标子数据，并按照每种数据源对应的结构转换规则对所述目标子数据进行转换。

6.根据权利要求1-5任意一项所述的数据处理方法，所述将所述目标指标类数据写入所述指标数据库，以及将所述目标明细类数据写入所述列式数据库步骤执行之后，还包括：

在所述指标数据库和所述列式数据库的运行状态为停止状态的情况下，按照预设的报送周期在所述指标数据库中提取待报送指标类数据，以及在所述列式数据库中提取待报送明细类数据；

通过对所述待报送指标类数据和所述待报送明细类数据进行整合，获得待报送业务数据；

将所述待报送业务数据发送至报送节点。

7.根据权利要求6所述的数据处理方法，所述将所述待报送业务数据发送至报送节点步骤执行之前，还包括：

获取所述待报送指标类数据对应的指标检测策略，以及所述待报送明细类数据对应的明细检测策略；

按照所述指标检测策略对所述待报送指标类数据进行检测，获得指标类数据检测结果，以及

按照所述明细检测策略对所述待报送明细类数据进行检测，获得明细类数据检测结果；

将所述指标类数据检测结果和所述明细类数据检测结果发送至业务调整节点。

8.根据权利要求7所述的数据处理方法，所述按照所述指标检测策略对所述待报送指标类数据进行检测，获得指标类数据检测结果，包括：

根据所述指标检测策略读取历史指标类数据；

将所述历史指标列数据与所述待报送指标类数据进行比对，根据比对结果确定所述指标类数据检测结果。

9.根据权利要求7所述的数据处理方法，所述按照所述明细检测策略对所述待报送明细类数据进行检测，获得明细类数据检测结果，包括：

根据所述明细检测策略创建结构检测条件和规则检测条件；

基于所述结构检测条件和所述规则检测条件对所述待报送明细类数据进行检测，获得所述明细类数据检测结果。