[发明专利]一种基于Thrift的数据检测方法

权利要求书

1.一种基于Thrift的数据检测方法，其特征是配置Thrift所在管理平台的产品线及产品线数据的检测方案，同时配置Thrift调用接口，根据产品线数据的检测方案调用Spark服务或SQL服务进行数据检测,

其中在Thrift所在管理平台新建并配置产品线，配置数据库以及检测规则，通过配置表记录完整性和一致性检测方案的相应检测规则，

新建完整性检测方案前，先在检测规则中配置所需要的字段检测规则，完整性检测方案提供用户配置表内字段是否可空，是否可重复的规则，

一致性检测方案提供用户配置同一类配置表不同时间段数据是否一致的相关规则，在配置过程中，提供针对多个字段汇总、计数或分组的选择，使一致性数据检测报告更丰富，并且在一致性检测方案中，选择已有的配置表簇表示需要检测的一类配置表，若无已有配置表簇，可根据要求新建表簇，

利用Thrift通过接口定义语言来定义数据类型和服务，定义两个接口，一个是根据配置内容运用Spark解析的服务接口，另一个是将数据检测任务转换为SQL语句查询数据库的SQL解析服务接口，

在新建并配置完检测方案后，根据检测方案新建检测任务，检测任务有五个状态，分别是：未启动、待执行、执行中、已停止和已完成，采用检测方案和设置任务运行周期分开管理的模式执行检测任务，启动检测任务后，状态由未启动变为待执行，将检测任务放入待检测容器中，定时遍历检测容器，根据配置通过Thrift定义的接口调用SQL服务或者Spark服务对应的实现类进行检测报告计算，生成检测报告。

2.根据权利要求1所述的一种基于Thrift的数据检测方法，其特征是根据产品线数据的检测方案启动Spark服务检测任务，通过Thrift调用接口调用Spark对应接口，生成Spark任务在Yarn-Cluster模式下进行数据检测；

或者根据产品线数据的检测方案启动SQL服务检测任务，通过Thrift调用接口调用SQL服务对应接口，SQL服务进行数据检测。

3.一种基于Thrift的数据检测系统，其特征是应用于Thrift的所在管理平台，通过所述数据检测系统配置Thrift所在管理平台的产品线及产品线数据的检测方案，同时配置Thrift调用接口，根据产品线数据的检测方案调用Spark服务或SQL服务进行数据检测,

其中在Thrift所在管理平台新建并配置产品线，配置数据库以及检测规则，通过配置表记录完整性和一致性检测方案的相应检测规则，

新建完整性检测方案前，先在检测规则中配置所需要的字段检测规则，完整性检测方案提供用户配置表内字段是否可空，是否可重复的规则，

一致性检测方案提供用户配置同一类配置表不同时间段数据是否一致的相关规则，在配置过程中，提供针对多个字段汇总、计数或分组的选择，使一致性数据检测报告更丰富，并且在一致性检测方案中，选择已有的配置表簇表示需要检测的一类配置表，若无已有配置表簇，可根据要求新建表簇，

利用Thrift通过接口定义语言来定义数据类型和服务，定义两个接口，一个是根据配置内容运用Spark解析的服务接口，另一个是将数据检测任务转换为SQL语句查询数据库的SQL解析服务接口，

在新建并配置完检测方案后，根据检测方案新建检测任务，检测任务有五个状态，分别是：未启动、待执行、执行中、已停止和已完成，采用检测方案和设置任务运行周期分开管理的模式执行检测任务，启动检测任务后，状态由未启动变为待执行，将检测任务放入待检测容器中，定时遍历检测容器，根据配置通过Thrift定义的接口调用SQL服务或者Spark服务对应的实现类进行检测报告计算，生成检测报告。

4.根据权利要求3所述的一种基于Thrift的数据检测系统，其特征是根据产品线数据的检测方案启动Spark服务检测任务，通过Thrift调用接口调用Spark对应接口，生成Spark任务在Yarn-Cluster模式下进行数据检测；

或者管理平台根据产品线数据的检测方案启动SQL服务检测任务，通过Thrift调用接口调用SQL服务对应接口，SQL服务进行数据检测。