[发明专利]基于健康医疗大数据标准库的多源数据处理方法与系统

说明书

本申请涉及数据处理技术领域，更为具体来说，本申请涉及基于健康医疗大数据标准库的多源数据处理方法与系统，所述方法包括：获得大数据标准库和源数据模式库；计算源数据模式库内数据元与大数据标准库内数据元之间的第一相似度和第一映射关系，基于第一相似度得到第二相似度，基于第一映射关系得到数据元映射关系库；计算源数据模式库内数据表与大数据标准库内数据表之间的第三相似度和第二映射关系，基于第三相似度得到第四相似度，基于第二映射关系得到数据表映射关系库；基于第二相似度和第四相似度校正数据元映射关系库；获得数据元值域映射关系库。本方法与系统可减少在数据处理时对人工操作的依赖，提升对健康医疗多源数据处理的效率。

技术领域

本申请涉及数据处理技术领域，更为具体来说，本申请涉及基于健康医疗大数据标准库的多源数据处理方法与系统。

背景技术

医学是数据密集型行业，无论是公共卫生、临床医疗服务、以及医学研究都离不开基于数据进行循证的支撑。但我国医疗体系复杂庞大，健康医疗数据来源多样而复杂。健康医疗数据可能来源于医疗服务过程中实际医疗业务流程产生的临床数据，或是医学研究中严格设计并主动收集的医学研究数据，也可能是来源于政府发布的公共卫生数据或者互联网和社会媒体产生的健康数据信息。健康医疗数据具有多源、异构、非统一等数据特性，数据结构复杂，这些复杂的多源异构数据，在数据的质量、标准化、可用性等方面差异很大，这严重限制了健康医疗大数据的共享、整合和进一步的数据处理与利用。目前，国家已针对健康医疗大数据的整合利用出台过相关健康医疗大数据的数据标准规范，健康医疗数据在投入正式的医学研究与应用前需要根据不同的研究应用目的，对不同来源的数据进行标准化转换与整合。

现有的多源健康医疗大数据的数据处理主要依赖于人工识别数据结构并建立源数据与标准数据库之间的映射关系。这种标准化转换方式不仅处理效率低，不适用于大规模多源数据的整合，而且对标准化转换的人员有较高的要求，不仅需要有专业的医学背景可以准确判断源数据与标准数据库之间的映射关系，而且需要有专业的数据处理技术。减少对人工操作的依赖，提升对健康医疗多源数据处理的效率，是亟待解决的问题。

因此，本申请提出基于健康医疗大数据标准库的多源数据处理方法与系统，以至少部分地解决上述技术问题。

发明内容

为实现上述技术目的，本申请提供了一种基于健康医疗大数据标准库的多源数据处理方法，包括以下步骤：

获得大数据标准库和源数据模式库，所述大数据标准库和源数据模式库均包括数据库-数据表-数据元结构；

计算源数据模式库内数据元与大数据标准库内数据元之间的第一相似度和第一映射关系，基于所述第一相似度得到源数据模式库内数据元与大数据标准库内数据元之间的第二相似度，基于所述第一映射关系得到数据元映射关系库；

计算源数据模式库内数据表与大数据标准库内数据表之间的第三相似度和第二映射关系，基于所述第三相似度得到源数据模式库内数据表与大数据标准库内数据表之间的第四相似度，基于所述第二映射关系得到数据表映射关系库；

基于第二相似度和第四相似度校正所述数据元映射关系库；

根据校正后的数据元映射关系库得到数据元值域映射关系库。

具体地，基于所述第一映射关系得到数据元映射关系库，具体包括：

对于源数据模式库内的每一个数据元，通过循环遍历算法，计算该数据元与大数据标准库内的每一个数据元的第一相似度；

将第一相似度最高且超过一定限值的标准库内的数据元作为该源数据模式库内的该数据元的匹配数据元，将每一个源数据模式库内的数据元与其匹配数据元均建立一条第一映射关系，得到数据元映射关系库。