[发明专利]一种针对易混淆运动损伤实体词的识别方法

说明书

本发明公开了一种针对易混淆运动损伤实体词的识别方法，基于运动损伤领域的大规模文本语料，训练word2vec语义模型，将所述文本语料切割生成字符向量文本和词汇向量文本，采用自动标注工具标注训练集、验证集和测试集的字符向量文本和词汇向量文本；为所述字符向量文本和词汇向量文本创建编码并计算所述字符向量文本和词汇向量文本的相对位置编码。然后对字符向量文本和词汇向量文本进行第一次鉴别，得到所述字符向量文本和词汇向量文本的预测标签。将预测标签为症状、体征、检查结果和检验结果的实体词归类为待确定组，进行二次鉴别。通过上述方式，本发明能够有效鉴别运动损伤领域中实体词的类别。

技术领域

本发明涉及自然语言处理领域，特别是涉及一种针对易混淆运动损伤实体词的识别方法。

背景技术

命名实体识别(NER)技术可用于识别文本中的特定实体信息，如人名、地名、组织名称等，它广泛应用于信息抽取、信息检索、智能问答、机器翻译等领域。

以前的方法主要是基于词典和基于规则的。基于词典的方法是通过字符串模糊查找或者完全匹配的方法，但是随着新的实体名称不断涌现，词典的质量与大小有局限性；现阶段应用较多的模型有隐马尔可夫模型(HiddenMarkovModel，HMM)、支持向量机(SupportVectorMachine，SVM)、最大熵马尔可夫模型(MaximumEntropyMarkovModel，MEMM)、条件随机场(ConditionalRandomField，CRF)等。条件随机场模型能对邻近标签对预测序列的影响问题进行有效地处理，所以在实体识别中应用较多，且效果不错。目前，针对序列标注问题，一般采用深度学习算法。与传统算法相比，深度学习算法去掉了手工提取特征这一步，能有效的提取判别特征。

近年来，随着互联网的高速运转，信息也有了各式各样的存储形式。在生物医学领域，文献资源每年都在数以千倍的增加，从医学含义解释角度看，运动损伤领域实体词中，症状、体征、检查结果和检验结果属于易混淆实体词类，其中，症状的实体词存在识别过程中容易出错的问题，而与之关联性较大的三类实体词：体征、检查结果、检验结果的检查方法词表达相对标准、固定、有限，易于区分，因此作为鉴别症状与体征、检查结果、检验结果的词表最为合适。

发明内容

有鉴于此，本发明提出一种针对易混淆运动损伤实体词的识别方法。

为解决上述技术问题，本发明采用的一个技术方案是：提出一种针对易混淆运动损伤实体词的识别方法，其特征在于,包括以下步骤：

步骤1：基于运动损伤领域的大规模文本语料，训练word2vec语义模型，将所述文本语料切割生成字符向量文本和词汇向量文本；

步骤2：采用自动标注工具标注训练集、验证集和测试集的字符向量文本和词汇向量文本；

步骤3: 为字符向量文本和词汇向量文本创建编码并计算所述字符向量文本和词汇向量文本的相对位置编码。

步骤4：对字符向量文本和词汇向量文本进行第一次鉴别，得到所述字符向量文本和词汇向量文本的预测标签。

步骤5：将预测标签为症状、体征、检查结果和检验结果的实体词归类为待确定组，进行二次鉴别；

所述待确定组为4组，包括症状组、体征组、检查结果组和检验结果组。

进一步的，所述字符向量文本包括单字符向量文本和双字符向量文本，所述单字符向量文本通过将文本语料按字符切割生成，所述双字符向量文本通过将文本语料按双字符切割生成，所述词汇向量文本采用jieba分词按语义切割生成。

进一步的，所述自动标注工具采用BIOES方法进行标注；所述BIOES方法包括：“B”表示标注的开始字符，“I”表示标注的中间字符，“E”表示标注的结尾字符，当标注为单字符时则用“S”表示，其他字符用“O”表示，数据格式要求一行一个字符及该字符标注，字符与标注间用空格隔开，句与句之间用空行隔开。