[发明专利]一种混合特征融合的中文化工文献分词方法

权利要求书

1.一种混合特征融合的中文化工文献分词方法，其特征在于，包括如下步骤：

(1)从化工科学文献挖掘中文化工文献数据，并对文献数据进行预处理，得到清洗后语料T1，提取关键词构建化学技术行业中英文关键词库K；

(2)使用化学技术行业中英文关键词库K对挖掘的语料库数据进行分词标记和词性标注，得到化工文献语料T2，构建中英文词典V，训练并得到word2vec语言模型W；

(3)输入化工文献语料T2，处理每一条文本记录，通过语言模型W处理得到字向量序列S，分别输入到预先构建的CNN和BiLSTM模型中抽取局部特征向量集合F_c和上下文特征向量集合F_b，并融合特征F_c和F_b，得到融合后新的特征向量集合F；

(4)将步骤(3)得到新的特征向量集合F输入CRF模型，利用邻居标签信息提高标签标记准确性，训练混合特征融合的端到端中文分词模型，得到训练后的模型M；

(5)开放word2vec语言模型接口API，获取用户输入带分词文本T′，调用W模型接口对文本进行处理得到对应词向量；

(6)开放中文分词模型接口API，调用M模型接口，利用混合特征融合的中文分词模型M处理得到分词结果；封装分词结果返还WEB平台，通过ECharts对实体信息可视化返回用户，用户判断分词准确性并反馈处理，分词过程结束；

所述步骤(3)包括以下步骤：

(301)将化工文献语料T2输入到步骤(2)获得的语言模型W中；

(302)定义循环变量i2，赋初始值为1，遍历化工文献语料T2；

(303)如果i2≤N则跳转到步骤(304)，否则跳转到步骤(312)；

(304)对文本T2_i2进行文本字符化，使文本切分为Max_len个字符，对超过长度Max_len的字符进行截断，长度不足以字符0标识；

(305)将文本T2_i2通过word2vec语言模型W映射编码，得到字符w(i)组成的文本映射到文本矩阵s(i)＝w(1)，w(2)，...，w(i)；

(306)输入文本矩阵s(i)，对其进行卷积操作，提取s(i)的局部特征C，计算公式为c_i＝RELU(X·W(i：i+r-1)+b)，其中，X为r×k的滤波器，b为偏置；W(i：i+r-1)为s(i)从i到i+r-1的r行向量；c_i表示通过卷积操作得到的局部特征；

(307)通过最大池化的方法提取值最大的特征代替整个局部特征，以大幅降低特征向量的大小：d_i＝max(C)，其中C＝{c₁，c₂，...，c_r}；

(308)最后将所有池化后得到的向量输入全连接层进行组合输出特征向量F_c(i2)＝{d₁，d₂，...，d_{Max_len}}；

(309)输入文本矩阵s(i)，对其进行卷积操作，提取s(i)的上下文特征L；

(310)分别计算t时刻LSTM前向语义输出L_f(t)和后向语义输出L_b(t)；

(311)拼接隐藏层单向和反向输出L_t＝L_f(t)+L_b(t)，来捕获文档句子前后之间的语义信息，得到全局性文本特征F_b(i2)＝{L₁，L₂，...，L_{Max_len}}；

(312)i2＝i2+1，转至步骤(303)；

(313)得到包含局部特征的特征向量集合F_c和包含上下文特征向量集合F_b；

(314)将两个特征向量集合 融合以获得融合后新的特征向量集合 F＝concat(F_c，F_b)。