[发明专利]数据处理方法

说明书

本发明实施例提出了一种数据处理方法，包括：事前处理步骤、事中处理步骤、事后处理步骤；其中，事前处理步骤用于对数据源得到的数据进行处理，以存储到ODS运营数据存储单元；事中处理步骤用于对ODS运营数据存储单元进行处理，并将处理后的数据存储到数据仓库DW；事后处理步骤用于对某一个数据库中的某一张表的数据进行规则校验。

技术领域

本发明提出了一种数据处理方法，特别是指针对数据通过规则引擎进行验证的数据处理方法。

背景技术

随着互联网和信息产业的快速发展，大数据应用市场不断扩大，大数据在推动我国经济转型升级过程中发挥着关键作用。

在数据处理领域有一个说法，数据是新时代的石油。由此可见，数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素；且随着技术的发展，数据已经逐渐成为现代社会发展的资源，各行各业都开始重视数据的价值。

在传统企业级数据开发过程中，可能会由于上游系统数据错误或是数据加工处理过程中逻辑错误，导致数据错误。而这种错误往往在数据被使用后才会被发现，此时已经影响了实际业务场景的决策。

发明内容

本发明提供了一种数据处理方法，能够提供常用的预规则，并支持用户灵活定义表级与字段级的规则。

为了达到上述目的，本发明实施例提出了一种数据处理方法，包括：事前处理步骤、事中处理步骤、事后处理步骤；

其中，事前处理步骤用于对数据源得到的数据进行处理，以存储到ODS 运营数据存储单元；事中处理步骤用于对ODS运营数据存储单元进行处理，并将处理后的数据存储到数据仓库DW；事后处理步骤用于对某一个数据库中的某一张表的数据进行规则校验；

事前处理步骤包括：数据处理子步骤和用户处理子步骤；

数据处理子步骤包括：

步骤101、从数据源中提取数据，通过规则引擎中的配置规则对数据进行验证以确定验证是否通过，如果是则进入步骤102，如果否则丢弃该数据；

步骤102、对规则引擎进行校验，并判断规则引擎校验是否通过；如果是则将数据存储到ODS运营数据存储单元，并进行后续操作；如果否则通知用户进行处理；

用户处理子步骤包括：

步骤201、用户设置规则引擎中的配置规则，并启动数据同步；其中数据同步业务被发送给执行机构以执行数据同步；其中该配置规则中设置有用于对数据进行匹配、计算、校验的算法和规则；并通过步骤101判断数据是否符合配置规则；

步骤202、当对规则引擎进行校验时，如果发现规则引擎中的配置规则出现校验错误，则需要通知用户；如果用户确定配置规则错误时，从新回到步骤101；如果用户确定配置规则正确时，则通过步骤102将数据存储到ODS 运营数据存储单元，并将规则引擎标记为校验通过；

事中处理步骤包括：数据处理子步骤和用户处理子步骤；

数据处理子步骤包括：

步骤301、从ODS运营数据存储单元中读取数据，对数据进行处理以输出处理后的数据；通过规则引擎中的配置规则对处理后的数据进行验证以确定验证是否通过，如果是则进入步骤302，如果否则丢弃该数据；

步骤302、根据处理后的数据，对规则引擎进行校验，并判断规则引擎校验是否通过；如果是则将数据存储到DW中的一张或多张表中，并进行后续操作；如果否则通知用户进行处理；

用户处理子步骤包括：

步骤401、用户设置规则引擎中的配置规则，并启动数据同步；其中数据同步业务被发送给执行机构以从ODS运营数据存储单元中读取数据；并通过步骤301判断数据是否符合配置规则；