[发明专利]一种医疗数据查重和关联的方法及系统

权利要求书

1.一种医疗数据查重和关联的方法，其特征在于，包括以下步骤：

(1)提取待处理的医疗数据中的核心数据项，所述核心数据项用于将所在数据与其他数据区分开；

(2)将核心数据项分类，先将核心数据项先分为结构化数据项及非结构化数据项，而后在结构化数据项中选取一组数据项作为排除数组，其他结构化数据项则作为模糊数组；

(3)分别对排除数组及模糊数组中的各个数据项初步筛查，

(3a)当排除数组中任意一个数据项与医疗数据库中已有同类数据项不同时则判断该医疗数据不重复或无关联并输入医疗数据库中，

或(3b)当模糊数组中不同数据项个数与模糊数组总项数的比例大于设定的阈值M₁时则判断该医疗数据不重复或无关联并输入医疗数据库中，

其他情况则进入下一步骤；

(4)对核心数据项中的各项数据项进行深度筛查，将各个数据项的权重a_i进行赋值，对各个数据项的相似度f_i进行判断计算，

并根据下列公式计算该医疗数据与医疗数据库中已有医疗数据的总相似度F：

其中，0≤f_i≤1,0<F≤1，

当F＝1时，则判断该医疗数据为重复数据并删除；

(5)设定疑似重复数据相似度的阈值M₂和/或疑似关联数据的阈值M₃，当M₂<F<1时判断该医疗数据为疑似重复数据并提交人工核查，当M₃<F<1时判断该医疗数据为疑似关联数据并提交人工核查；

(6)人工核查疑似重复和/或关联数据并给予判断后，将被判断为不重复的数据输入医疗数据库中,并给予判断为存在关联的数据一个或多个相应的关联标签。

2.根据权利要求1所述的方法，其特征在于，所述相似度f_i的判断计算方法为：对于结构化数据项，当其与医疗数据库中已有同类数据项完全相同时，其相似度f_i^s取值为1，否则取值为0；

对于非结构化数据项，其相似度f_iⁿ为该非结构化数据项的文本集合T与医疗数据库中已有同类数据项的文本集合S之间的Jaccard相似度SIM(S,T), 其中，SIM(S,T)＝|S∩T|/|S∪T|,f_i^s∈f_i，f_iⁿ∈f_i。

3.根据权利要求2所述的方法，其特征在于，在直接计算非结构化数据项的文本集合T与医疗数据库中已有同类数据项的文本集合S之间的Jaccard相似度前，还对文本集合T和文本集合S进行如下预处理：

(i)利用分词库，将T和S中的文本字段分解成若干词，并将每个词作为最小处理数据项，

(ii)将来自T与S的对应分词数据项按照K-shingle算法逐一比较。

4.根据权利要求3所述的方法，其特征在于，所述分词库包括三个部分：

药物名称部分，其包括药物商品名，通用名以及常用方案的英文字母缩写；

症状描述部分，其包括医疗常见的症状描述常用词；

基因检测部分，其包括基因检测的位点缩写以及基因检测的结果描述。