[发明专利]一种健康体检大数据文本资料不合法词清洗的方法

权利要求书

1.一种健康体检大数据文本资料不合法词清洗的方法，其特征在于，该方法包括以下步骤：

步骤1、通过收集原始的体检数据，通过人工标注及机器训练与挖掘，得到不同体检项目的不合法数据，建立文本资料不合法词库；

步骤2、按照指定的数据结构输入包含不合法词的待清洗的健康体检文本数据，健康体检文本数据为列表结构，第一列为体检编号，后续列为对应的体检指标项目及对应的体检描述结果；

步骤3、遍历每列体检指标项目的内容，根据体检指标项目来索引到文本资料不合法词库的不合法词，进而根据不用类型的不合法形态进行健康体检文本字段的算法匹配，并判断是否为不合法形态；

步骤4、利用算法将健康体检文本数据中匹配到的不合法词进行删除，得到清洗干净的健康体检文本数据，并将该体检数据的体检指标项及匹配到的不合法词，对应的体检编号存储为质控文件1，用于后续的文本溯源；同时，比较不合法词清洗前后的数据统计量得到质控文件2,用于后续文本清洗的质控；

步骤5、根据清洗好的健康体检数据及质控文件1和质控文件2，检查输出的健康体检文本数据是否正确；

步骤6、对输出健康体检文本数据质控文件1进行结果检查，通过人工标注和机器识别，用于文本资料不合法词库的更新；

步骤7、完成对不合法词的清洗。

2.根据权利要求1所述的健康体检大数据文本资料不合法词清洗的方法，其特征在于，所述步骤2中健康体检文本数据的数据结构包括：体检编号、文本资料标准术语及文本资料体检结果，利用函数将数据分割成若干份进而多线程处理。

3.根据权利要求1所述的健康体检大数据文本资料不合法词清洗的方法，其特征在于，所述步骤3中利用现有的文本资料不合法词库对健康体检文本数据进行算法匹配的具体方法为：

使用指标分类对应的通用不合法形态在数据中匹配，文本资料不合法词库包括：指标分类、通用不合法形态、排除词、匹配规则；其中：

指标分类含有105种指标分类，包括：影像学检查-超声、影像学检查-CT、影像学检查-X线检查、体格检查-胸部、体格检查-头颈部、问诊；

通用不合法形态含有不少于200种不合法形态，包括：未检、未做、不做、见报告；

排除词指有意义但与通用不合法形态有部分重合；

匹配规则包括：1、特殊形态；2、正则匹配；3、全字段完匹配；其中：

“1”代表特殊形态，即纯数值形态的数据，仅包含数值；

“2”代表正则匹配，即数据包含通用不合法词；

“3”代表全字段完全匹配，即数据内容与通用不合法词完全一致；

若符合匹配规则，则判断为不合法形态，若不符合匹配规则，则判断为非不合法形态；采用基于复合规则的文本不合法词匹配算法进行匹配，具体如下：

算法匹配规则1表示匹配仅包含数值形态的数据，具体匹配模式[0-9]；

算法匹配规则2表示匹配通用不合法词，通过的不合法词规则特定的字符串，由预构的正则表达式集合预先构造的字符串规则集，具体匹配模式为：[.*不合法词.*]；

算法匹配规则3表示全字段匹配，具体匹配模式为：[不合法词]。