[发明专利]一种中文病理文本结构化处理方法

权利要求书

1.一种中文病理文本结构化处理方法，其特征在于，包括以下步骤：

(1)从病理报告文本数据的样本与指标的层次结构中提取出各个样本所对应的模板信息；

(2)对模板信息进行提取，包括短句切分和指标名提取；短句分类；其中，短句分类包括：先对短句集合CLAUSE进行初步分类，将样本名完全相同的短句归为一类，归类后的每个子类的指标名列表为其所包含的所有短句的指标名列表的去重合并，最后得到经过初步分类的子类集合CLAUSE_PC；将初步分类后的每个子类的样本名sn跟组织器官词典DIC中的词word两两计算相似度，并放到一个二维数组Array中，其中，Array_ij的值是编号为i的子类的样本名和编号为j的组织器官词典中的词的样本名相似度；优先处理样本名相似度完全相同的子类：将该子类中的所有短句都被归入组织器官词word下，将分类信息写入分类结果集合CLUSTER，并将该子类从子类集合中移除；处理样本名相似度值近似的子类：每个子类都能找到零个到多个组织器官词word满足要求，对那些能够找到至少一个满足要求的组织器官词word的子类，计算该子类的指标名列表和与其对应的每个组织器官word的指标名列表的指标名相似度，找到指标名相似度最大的组织器官词word’，将该子类c就归入相似度最大的组织器官词word’下，将分类信息写入分类结果集合CLUSTER，更新相似度最大的组织器官词word’在MATCHED集合中的指标值列表，同时将该子类c从子类集合中移除；对子类集合中余下的子类，直接采用初步分类的结果将短句分类，将分类信息写入分类结果集合CLUSTER，同时，将每个子类的样本名和指标值列表信息写入UNMATCHED集合中；输出分类结果集合CLUSTER，以及MATCHED集合和UNMATCHED集合；

(3)对每个样本结合分类结果集合CLUSTER和短句集CLAUSE，计算指标名列表中的每个指标名在短句语料中的TF值、IDF值和C-value值，筛选出TF值、IDF值和C-value值满足阈值的指标名，作为最终模板中的成分。

2.根据权利要求1所述的中文病理文本结构化处理方法，其特征在于，所述步骤(2)中短句切分是采用正则匹配的方法，当病理报告文本数据中检测到符合正则表达式时进行断句，从而将病理报告文本数据切分成若干短句。

3.根据权利要求1所述的中文病理文本结构化处理方法，其特征在于，所述步骤(2)的指标名提取具体包括：(A)样本名的提取：利用开源的分词工具，结合人体组织器官词库以及样本名出现在短句的第一个文本片段中的规律，对无关文本进行过滤筛选，提取出每个短句对应的样本名；(B)指标名的提取：将短句按标点符号切分成若干语义上独立的文本片段，将每个文本片段先用特殊词库匹配和数量词匹配进行筛选，再对匹配失败的文本片段用统计方法进行处理；最后通过将经过上述操作得到的键值对中的指标名去重合并，得到每个短句对应的若干指标名。