[发明专利]数据处理方法

权利要求书

1.一种数据处理方法，包括：事前处理步骤、事中处理步骤、事后处理步骤；

其中，事前处理步骤用于对数据源得到的数据进行处理，以存储到ODS运营数据存储单元；事中处理步骤用于对ODS运营数据存储单元进行处理，并将处理后的数据存储到数据仓库DW；事后处理步骤用于对某一个数据库中的某一张表的数据进行规则校验；

事前处理步骤包括：数据处理子步骤和用户处理子步骤；

数据处理子步骤包括：

步骤101、从数据源中提取数据，通过规则引擎中的配置规则对数据进行验证以确定验证是否通过，如果是则进入步骤102，如果否则丢弃该数据；

步骤102、对规则引擎进行校验，并判断规则引擎校验是否通过；如果是则将数据存储到ODS运营数据存储单元，并进行后续操作；如果否则通知用户进行处理；

用户处理子步骤包括：

步骤201、用户设置规则引擎中的配置规则，并启动数据同步；其中数据同步业务被发送给执行机构以执行数据同步；其中该配置规则中设置有用于对数据进行匹配、计算、校验的算法和规则；并通过步骤101判断数据是否符合配置规则；

步骤202、当对规则引擎进行校验时，如果发现规则引擎中的配置规则出现校验错误，则需要通知用户；如果用户确定配置规则错误时，从新回到步骤101；如果用户确定配置规则正确时，则通过步骤102将数据存储到ODS运营数据存储单元，并将规则引擎标记为校验通过；

事中处理步骤包括：数据处理子步骤和用户处理子步骤；

数据处理子步骤包括：

步骤301、从ODS运营数据存储单元中读取数据，对数据进行处理以输出处理后的数据；通过规则引擎中的配置规则对处理后的数据进行验证以确定验证是否通过，如果是则进入步骤302，如果否则丢弃该数据；

步骤302、根据处理后的数据，对规则引擎进行校验，并判断规则引擎校验是否通过；如果是则将数据存储到DW中的一张或多张表中，并进行后续操作；如果否则通知用户进行处理；

用户处理子步骤包括：

步骤401、用户设置规则引擎中的配置规则，并启动数据同步；其中数据同步业务被发送给执行机构以从ODS运营数据存储单元中读取数据；并通过步骤301判断数据是否符合配置规则；

步骤402、当对规则引擎进行校验时，如果发现规则引擎中的配置规则出现校验错误，则需要通知用户；如果用户确定配置规则错误时，从新回到步骤301；如果用户确定配置规则正确时，则通过步骤302将数据存储到DW中的一张或多张表中，并将规则引擎标记为校验通过；

事后处理步骤包括：数据处理子步骤和用户处理子步骤；

数据处理子步骤包括：

步骤501、从数据仓库DW中读取其中一张库表内的数据；该数据是经过事中处理步骤进行处理的处理后的数据；通过规则引擎内的配置规则对库表中的数据进行再次验证以确定验证是否通过，如果是则进入步骤502，如果否则丢弃该数据；

步骤502、根据从数据仓库DW中一张库表内的数据，对规则引擎进行校验，并判断规则引擎校验是否通过，如果是则将执行后续操作，如果否则通知用户进行处理；

用户处理子步骤包括：

步骤601、用户启动规则引擎任务，确定列维度或表维度配置规则；其中规则校验任务被发送给执行机构以从数据仓库DW中读取一张库表内的数据；该执行机构直接读取表或列中的数据以进行校验操作；如果校验合格则步骤结束；如果校验不合格则通过用户。

2.根据权利要求1所述的数据处理方法，其特征在于，所述规则引擎包括：数据类型子引擎、规则类型子引擎、监控类型子引擎、时间窗类型子引擎、告警类型子引擎。

3.根据权利要求1所述的数据处理方法，其特征在于，所述规则引擎还包括：监控报告子引擎。

4.根据权利要求1所述的数据处理方法，其特征在于，所述规则引擎包括：用于输入表级规则和字段级规则的输入界面。