[发明专利]一种医疗数据查重和关联的方法及系统

摘要

本发明涉及一种医疗数据查重和关联的处理方法及系统，所述方法包括(1)提取待处理的医疗数据中的核心数据项；(2)将核心数据项分类；(3)分别对排除数组及模糊数组中的各个数据项初步筛查；(4)对核心数据项中的各项数据项进行深度筛查；(5)设定疑似重复数据相似度的阈值M2和/或疑似关联数据的阈值M3；(6)人工核查疑似重复和/或关联数据并给予判断后，将被判断为不重复的数据输入医疗数据库中,并给予判断为存在关联的数据一个或多个相应的关联标签。本发明与现有技术相比具有漏判率低、错判率低、查重效率高的特点，对人工核查的人工专业度要求不高，因此查重和关联的运行成本显著降低。

主权项

一种医疗数据查重和关联的方法，其特征在于，包括以下步骤：(1)提取待处理的医疗数据中的核心数据项，所述核心数据项用于将所在数据与其他数据区分开；(2)将核心数据项分类，先将核心数据项先分为结构化数据项及非结构化数据项，而后在结构化数据项中选取一组数据项作为排除数组，其他结构化数据项则作为模糊数组；(3)分别对排除数组及模糊数组中的各个数据项初步筛查，(3a)当排除数组中任意一个数据项与医疗数据库中已有同类数据项不同时则判断该医疗数据不重复或无关联并输入医疗数据库中，或(3b)当模糊数组中不同数据项个数与模糊数组总项数的比例大于设定的阈值M1时则判断该医疗数据不重复或无关联并输入医疗数据库中，其他情况则进入下一步骤；(4)对核心数据项中的各项数据项进行深度筛查，将各个数据项的权重ai进行赋值，对各个数据项的相似度fi进行判断计算，并根据下列公式计算该医疗数据与医疗数据库中已有医疗数据的总相似度F：其中，0≤fi≤1,0<F≤1，当F＝1时，则判断该医疗数据为重复数据并删除；(5)设定疑似重复数据相似度的阈值M2和/或疑似关联数据的阈值M3，当M2<F<1时判断该医疗数据为疑似重复数据并提交人工核查，当M3<F<1时判断该医疗数据为疑似关联数据并提交人工核查；(6)人工核查疑似重复和/或关联数据并给予判断后，将被判断为不重复的数据输入医疗数据库中,并给予判断为存在关联的数据一个或多个相应的关联标签。