[发明专利]数据标准符合性检测方法、装置、系统及存储介质

说明书

本发明公开了一种数据标准符合性检测方法，包括：提取待测数据库中的待测数据元；根据同义词映射规则对将所述待测数据元进行匹配，得到所述待测数据元的同义词；根据所述同义词在数据检测规则池中查找对应的检测规则，根据对应的所述检测规则对所述待测数据元进行数据标准符合性检测。本发明实施例还公开了一种数据标准符合性检测装置、系统及存储介质，采用多个实施例解决了现有技术中人工检测数据标准符合性准确性低的问题。

技术领域

本发明涉及数据检测技术领域，尤其涉及数据标准符合性检测方法、装置、系统及存储介质。

背景技术

随着互联网、大数据、物联网和人工智能时代的到来，数据日益成为重要的生产资料和战略资源。大数据时代的出现吸引了工业界、学术界和政府的关注。高质量的数据是提升其社会价值和生产潜力的重要前提。国内外各界从多维角度评价数据质量，有些领域结合行业特点开发数据质量检测系统来监控数据质量问题。数据质量是一个多维的概念，数据标准化处理是指参照相关的国家标准或行业标准，已保证不同分类体系间的协调一致和转换，是提升项目数据质量的重要方式。

目前我国基于标准的数据质量测试方面的研究在审计、教育、医疗卫生、交通运输、新闻出版、国际贸易等行业有了一些研究进展，在部分行业中也有了数据分类兼容性测试工具，能够高效准确完成数据分类兼容性测试任务。同时，也应该看到在当前大数据引领传统产业转型升级的重要战略机遇期，我国还存在严重的“数据丰富，信息匮乏”矛盾，现有数据质量评估依据国家/行业标准，对标准的实现进行测试，判别一个标准的实现(如产品、过程与服务)与所对应的标准描述是否一致，其实现方式大多是通过人工核查开展相关测试工作，大数据环境下测试效率较低，测试方法缺乏针对性，测试结果的可信度存在很大不确定性。当前数据验收评审手段的权威性、公正性不足，归纳为两方面原因：一是专家经验不足以精确判定信息系统中数据内容与标准的符合度；二是大部分数据验收属于自律性质的第一方自我声明和第二方验收活动，缺乏权威的第三方测试。

发明内容

本发明实施例提供一种数据标准符合性检测方法、装置、系统及存储介质，使得数据质量检测智能化。

本发明一实施例提供一种数据标准符合性检测方法，包括：

提取待测数据库中的待测数据元；其中，数据元包括：数据元字符类型以及值域；

根据同义词映射规则对将所述待测数据元进行匹配，得到所述待测数据元的同义词；

根据所述同义词在数据检测规则池中查找对应的检测规则，根据对应的所述检测规则对所述待测数据元进行数据标准符合性检测；

其中，所述检测规则包括：规则类别规则、应用标准规则、数据类型规则、数据长度范围规则、数据格式以及取值范围规则。

作为上述方案的改进，所述数据检测规则池，具体包括：

根据各行各业的标准文件的应用范围进行分类；

将所述标准文件转换成可识别的检测规则。

作为上述方案的改进，将所述标准文件转换成可识别的检测规则，具体包括：

若所述标准文件中的数据元的值域能够通过正则表达式检测，则对所述标准文件进行转化，转化得到所述标准文件对应的规则类别规则、应用标准规则、数据类型规则、数据长度范围规则、数据格式规则以及取值范围规则；

或，

若所述标准文件中的数据元的取值有预设的取值范围或取值列表，则通过预设的本地值范围或预设的外部引用表值范围配置所述数据元对应的值域；

若所述数据元的值域能够通过正则表达式检测，则对所述标准文件进行转化，转化得到所述标准文件对应的规则类别规则、应用标准规则、数据类型规则、数据长度范围规则、数据格式规则以及取值范围规则；

或，