[发明专利]一种中文病理文本结构化处理方法

说明书

技术领域

本发明涉及自然语言处理技术领域，特别是涉及一种中文病理文本结构化处理方法。

背景技术

随着互联网的迅速发展和国内医疗行业信息化进程的逐渐推进，医疗行业的信息量也在呈指数式爆炸增长。同时，伴随着生活水平的提高，人们也逐渐从最基本的能看病，转向关注医疗诊断的效率和准确度。传统医疗方式下积累的以及现阶段每天实时增加的大量非结构化的病理数据，不仅不易于存储管理，而且不能满足如今的病理分析需求。

如何从非结构化的病理数据中获取有用的信息成为当前的研究热点之一。现有的自然语言处理技术和数据挖掘技术，如分词、聚类分类、信息抽取等，已经能在很大程度上解决这一问题，但如何高效且准确地从非结构化的中文病理文本中获取有用的信息仍是一大难题。

发明内容

本发明所要解决的技术问题是提供一种中文病理文本结构化处理方法，能够将非结构化的中文病理文本结构化。

本发明解决其技术问题所采用的技术方案是：提供一种中文病理文本结构化处理方法，包括以下步骤：

(1)从病理报告文本数据的样本与指标的层次结构中提取出各个样本所对应的模板信息；

(2)对模板信息进行提取，包括短句切分和指标名提取；短句分类；

(3)对每个样本结合分类结果集合CLUSTER和短句集CLAUSE，计算指标名列表中的每个指标名在短句语料中的TF值、IDF值和C-value值，筛选出TF值、IDF值和C-value值阈值的指标名，作为最终模板中的成分。

所述步骤(2)中短句切分是采用正则匹配的方法，当病理报告文本数据中检测到符合正则表达式时进行断句，从而将病理报告文本数据切分成若干短句。

所述步骤(2)的指标名提取具体包括：(A)样本名的提取：利用开源的分词工具，结合人体组织器官词库以及样本名出现在短句的第一个文本片段中的规律，对无关文本进行过滤筛选，提取出每个短句对应的样本名；(B)指标名的提取：将短句按标点符号切分成若干语义上独立的文本片段，将每个文本片段先用特殊词库匹配和数量词匹配进行筛选，再对匹配失败的文本片段用统计方法进行处理；最后通过将经过上述操作得到的键值对中的指标名去重合并，得到每个短句对应的若干指标名。

所述步骤(2)中的短句分类包括：

先对短句集合CLAUSE进行初步分类，将样本名完全相同的短句归为一类，归类后的每个子类的指标名列表为其所包含的所有短句的指标名列表的去重合并，最后得到经过初步分类的子类集合CLAUSE_PC；

将初步分类后的每个子类的样本名sn跟组织器官词典DIC中的词word两两计算相似度，并放到一个二维数组Array中，其中，Array_ij的值是编号为i的子类的样本名和编号为j的组织器官词典中的词的样本名相似度；

优先处理样本名相似度完全相同的子类：将该子类中的所有短句都被归入组织器官词word下，将分类信息写入分类结果集合CLUSTER，并将该子类从子类集合中移除；

处理样本名相似度值近似的子类：每个子类都能找到零个到多个组织器官词word满足要求，对那些能够找到至少一个满足要求的组织器官词word的子类，计算该子类的指标名列表和与其对应的每个组织器官word的指标名列表的指标名相似度，找到指标名相似度最大的组织器官词word’，将该子类c就归入相似度最大的组织器官词word’下，将分类信息写入分类结果集合CLUSTER，更新相似度最大的组织器官词word’在MATCHED集合中的指标值列表，同时将该子类c从子类集合中移除；

对子类集合中余下的子类，直接采用初步分类的结果将短句分类，将分类信息写入分类结果集合CLUSTER，同时，将每个子类的样本名和指标值列表信息写入UNMATCHED集合中；

输出分类结果集合CLUSTER，以及MATCHED集合和UNMATCHED集合。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明中的模板是从训练数据集里提取出来的，因此对此类文本结构化的准确率较现有的通用方法要高；本发明中提取的模板会被定期优化，以适应最新的数据结构化需求。

附图说明

图1是本发明中病理文本层次结构图；

图2是样本名提取的数据流图；

图3是指标名提取的数据流图；

图4是短句切分和指标名提取的顶层数据流图；

图5是短句初步分类的数据流图；