[发明专利]离线字段校验方法、装置、设备及计算机可读存储介质

权利要求书

1.一种离线字段校验方法，其特征在于，包括：

通过预设的消息中间件，从线上字段数据中获取离线字段数据；

对所述离线字段数据进行数据处理，获得样本数据；

根据所述样本数据生成基准Schema；

通过所述基准Schema对所述消息中间件实时获取到的离线字段数据的合法性进行校验，获得校验结果。

2.根据权利要求1所述的方法，其特征在于，所述对所述离线字段数据进行数据处理，获得样本数据，包括：

对所述离线字段数据的字段格式进行初步验证；

对初步验证成功的离线字段数据按照预设的抽样规则进行抽样操作，获得所述样本数据。

3.根据权利要求2所述的方法，其特征在于，所述对所述离线字段数据的字段格式进行初步验证，包括：

判断所述离线字段数据的字段格式是否满足预设的标准格式，将满足预设的标准格式的离线字段数据作为初步验证成功的离线字段数据。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述根据所述样本数据生成基准Schema，包括：

针对所述样本数据中的每一字段，对所述字段的字段类型进行统计，获得统计结果，其中，所述样本数据中包括至少一个层级的字段；

根据所述统计结果中出现次数最多的字段类型生成待优化基准Schema；

通过所述待优化基准Schema对所述线上字段数据进行校验，获得线上字段校验结果；

根据所述线上字段校验结果对所述待优化基准Schema进行优化操作，获得所述基准Schema。

5.根据权利要求4所述的方法，其特征在于，所述根据所述线上字段校验结果对所述待优化基准Schema进行优化操作，获得所述基准Schema，包括：

确定所述线上字段校验结果中是否包括不合法字段；

若包括，则获取所述不合法字段对应的真实写入字段类型；

若所述真实写入字段类型与所述不合法字段当前的字段类型不一致，则根据所述不合法字段对所述待优化基准Schema中的字段类型进行修正操作；

返回执行所述通过所述待优化基准Schema对所述线上字段数据进行校验，获得线上字段校验结果的步骤，直至所述线上字段校验结果中不包括不合法字段。

6.根据权利要求1-3、5任一项所述的方法，其特征在于，所述根据所述样本数据生成基准Schema之后，还包括：

定期根据所述样本数据对所述基准Schema进行更新。

7.根据权利要求1-3、5任一项所述的方法，其特征在于，所述通过所述基准Schema对所述消息中间件实时获取到的离线字段数据的合法性进行校验，获得校验结果之后，还包括：

若所述校验结果中包括不合法字段，则通过预设的调用接口控制线上存储模块对包含所述不合法字段的数据进行不合法标识，其中，经过不合法标识后的数据不会在前端显示。

8.根据权利要求1-3、5任一项所述的方法，其特征在于，所述通过所述基准Schema对所述消息中间件实时获取到的离线字段数据的合法性进行校验，获得校验结果之后，还包括：

若所述校验结果中包括不合法字段，则根据所述不合法字段生成日志信息；

将所述日志信息发送至运维人员的移动终端。

9.一种离线字段校验装置，其特征在于，包括：

获取模块，用于通过预设的消息中间件，从线上字段数据中获取离线字段数据；

数据处理模块，用于对所述离线字段数据进行数据处理，获得样本数据；

生成模块，用于根据所述样本数据生成基准Schema；

校验模块，用于通过所述基准Schema对所述消息中间件实时获取到的离线字段数据的合法性进行校验，获得校验结果。