[发明专利]一种数据处理方法、电子设备及计算机存储介质

说明书

本申请实施例公开了一种数据处理方法、电子设备及计算机存储介质，涉及数据处理及数据标准化技术，其中方法包括：获取原始数据和所述原始数据携带的数据标签；对所述原始数据进行脱敏处理，获得目标数据；获取所述数据标签对应的标准化规则，所述标准化规则包括完整性排查规则和格式规则；依据所述标准化规则处理所述目标数据，获得满足所述完整性排查规则和所述格式规则的标准数据，便于标准化数据，以进行后续的数据存储或者处理过程，可以提高数据处理的效率和准确度。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种数据处理方法、电子设备及计算机存储介质。

背景技术

大数据已经被广泛认为是一种战略性的新型资源，可以定义当今时代产生的海量数据以及相关的技术发展与服务创新。大数据蕴藏着巨大的商业价值。在数据流通领域，随着数据量迅速增长，不同数据源的数据质量参次不齐，数据质量有不同的概念和标准，数据质量一般包括数据的准确性、完整性、及时性、一致性等定量描述。对于大数据时代下的用户来说，其所需存储、处理的数据量大，数据来源和数据结构繁多复杂，为大数据的分析和应用带来很多挑战。用户要想充分发挥大数据所赋予的机遇和优势，前提是必须拥有可靠、准确、及时的高质量的数据，只有从高质量的大规模数据中提取隐含的、有用的信息，才能做出更加精准、更加符合市场和客户需求的决策。为此，用户更加注重数据质量及其重要性。

在医疗保健领域，在各方面都需要处理大量的医保数据，因此数据处理依然需要在保证准确性的前提下，提高处理效率。数据本身来源复杂，可能存在一定的误差，并且其数据类型、格式等可能差异较大，因此在数据处理和分析的过程中不能准确地获得分析结果，以及会导致系统出现误差甚至错误，数据处理的稳定性和处理效率较低。

发明内容

本申请实施例提供一种数据处理方法、电子设备及计算机存储介质，涉及数据处理及数据标准化技术，便于获得规范数据以进行后续的数据存储或者处理过程，可以提高数据处理的效率和准确度。

第一方面，本申请实施例提供了一种数据处理方法，该方法包括：

获取原始数据和所述原始数据携带的数据标签；

对所述原始数据进行脱敏处理，获得目标数据；

获取所述数据标签对应的标准化规则，所述标准化规则包括完整性排查规则和格式规则；

依据所述标准化规则处理所述目标数据，获得满足所述完整性排查规则和所述格式规则的标准数据。

作为一种可能的实施方式，响应于所述标准化规则包括所述完整性排查规则的情况，所述依据所述标准化规则处理所述目标数据包括：

检测所述目标数据中的项目是否有空缺，若有空缺，生成包含所述空缺项目的报告，输出所述报告以提示对所述空缺项目进行补全。

作为一种可能的实施方式，所述标准化规则还包括重复排查规则，所述依据所述标准化规则处理所述目标数据还包括：

检测所述目标数据中的项目的相似度，若所述相似度高于第一阈值，判断所述项目为重复项目，合并所述重复项目的数据或者删除所述重复项目之一的数据。

作为一种可能的实施方式，响应于所述标准化规则包括所述格式规则的情况，所述依据所述标准化规则处理所述目标数据还包括：

检测所述目标数据中的项目字段是否与模板字段匹配，若不匹配，按照所述格式规则将所述不匹配的项目字段转换为与所述模板字段匹配的目标字段。

作为一种可能的实施方式，所述方法还包括：

若检测到所述与模板字段不匹配的项目字段存在错误数据，生成错误记录；

确定所述项目字段的项目类别，在修正数据库中查找所述项目类别对应的、与所述项目字段匹配的修正数据，输出包含所述修正数据的提示信息。