[发明专利]数据处理方法、医学文本数据处理方法、装置及电子设备有效
申请号: | 202110398318.X | 申请日: | 2021-04-14 |
公开(公告)号: | CN112800763B | 公开(公告)日: | 2021-08-06 |
发明(设计)人: | 王东风;方杰;周月;汪知滴;纪萍 | 申请(专利权)人: | 北京金山云网络技术有限公司 |
主分类号: | G06F40/289 | 分类号: | G06F40/289;G06F40/30;G06F40/247;G06F16/332;G06F16/33;G06F16/35;G06K9/62 |
代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 孙翠贤;高莺然 |
地址: | 100085 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据处理 方法 医学 文本 装置 电子设备 | ||
1.一种数据处理方法,其特征在于,所述方法包括:
获取待处理的目标文本数据;其中,所述目标文本数据包含多个指定字段下的数据内容;
基于预定的分隔符,对所述目标文本数据进行分割,得到各个初始子文本;
按照预定的文本修正规则,对各个初始子文本进行修正处理,得到各个目标子文本;其中,每一目标子文本中包括所述多个指定字段下的数据内容,且所述多个指定字段中的特定字段下的数据内容的数量为一个;
对各个目标子文本进行分词处理,得到所述目标文本数据的分词;
其中,所述按照预定的文本修正规则,对各个初始子文本进行修正处理,得到各个目标子文本的步骤,包括:确定各个初始子文本中的待合并子文本;其中,所述待合并子文本为:未包括第一类数据内容的初始子文本,所述第一类数据内容为:与所述特定字段相匹配的数据内容;对所述待合并子文本进行内容修正,得到修正后子文本;其中,所述修正后子文本包含所述第一类数据内容;基于待利用子文本,确定各个目标子文本;其中,所述待利用子文本包括:所述修正后子文本和当前所存在的各个初始子文本;
所述基于待利用子文本,确定各个目标子文本的步骤,包括:若待利用子文本包含有符合多个预定条件中任一条件的子文本,对所述待利用子文本所包括的各子文本进行再次修正,得到各个目标子文本;若待利用子文本中未包含有符合多个预定条件中任一条件的子文本,将待利用子文本所包括的各个子文本,均确定为目标子文本;其中,所述多个预定条件包括:第一预定条件和第二预定条件,所述第一预定条件为:具有与所述多个指定字段相匹配的数据内容且第一类数据内容的数量为多个;所述第二预定条件为:仅具有所述第一类数据内容;
其中,所述多个指定字段的数量为两个;所述对所述待利用子文本所包括的各子文本进行再次修正,得到各个目标子文本的步骤,包括:确定所述待利用子文本中的各个第一类数据内容;针对除最后一个第一类数据内容之外的每个第一类数据内容,计算该第一类数据内容与该第一类数据内容的下一个第一类数据内容的距离;若计算得到的距离不小于第一预设阈值,则将该第一类数据内容,以及位于该第一类数据内容与所述下一个第一类数据内容之间的数据内容进行合并,得到目标子文本;否则,并将该第一类数据内容以及该第一类数据内容对应的待补充内容进行合并,得到目标子文本;其中,所述待补充内容为:位于所述下一个第一类数据内容之后、与该第一类数据内容的距离最近,且与所述特定字段之外的另一指定字段相匹配的数据内容;针对最后一个第一类数据内容,将该第一类数据内容以及位于该第一类数据内容之后的数据内容进行合并,得到目标子文本。
2.根据权利要求1所述的方法,其特征在于,所述特定字段预设有标准化数据库,所述标准化数据库中包含属于所述特定字段的各个标准词;所述确定各个初始子文本中的待合并子文本的步骤,包括:
针对每一初始子文本,将该初始子文本与各个标准词对应的参考内容进行数据匹配,若均不匹配,则将该初始子文本确定为待合并子文本;
其中,每一标准词对应的参考内容包括:该标准词,和/或,该标准词关联的近义词。
3.根据权利要求1所述的方法,其特征在于,所述对所述待合并子文本进行内容修正,得到修正后子文本的步骤,包括:
从所述目标文本数据的除所述待合并子文本以外的各子文本中,确定与所述待合并子文本的位置关系满足预设位置条件的备用子文本;其中,所述预设位置条件包括;距离最近、位于所述待合并子文本之前且距离最近,或者,位于所述待合并子文本之后且距离最近;
将从所述待合并子文本至所述备用子文本的多个子文本进行合并,得到修正后子文本。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京金山云网络技术有限公司,未经北京金山云网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110398318.X/1.html,转载请声明来源钻瓜专利网。