[发明专利]基于DeepLearning的领域概念抽取方法

摘要

本发明公开了一种基于Deep Learning的领域概念抽取方法，首先对训练语料库进行样本提取，选取词频、文档频率、反文档频率、词语长度、词频方差和领域一致度作为特征向量，其次基于Deep Learning技术，训练出深度网络模型，该模型能够有效表示单词型领域概念多维度的特征向量和类别标记之间的复杂映射关系，最后在测试阶段将基于Deep Learning技术构建的深度网络模型与改进的BP神经网络模型及主流的KNN、SVM模型进行对比，实验表明利用Deep Learning技术训练得到的深度网络模型取得了最佳的实验效果。

主权项

一种基于Deep Learning的领域概念抽取方法，其特征在于该方法包括以下具体步骤：a)训练阶段首先提取训练语料库中的正负样本，并进行标记；然后结合训练语料库和背景语料库，对正负样本进行特征提取，构造特征向量集；最后利用特征向量集和对应的标记在matlab的深度学习工具箱的环境下训练得到深度网络DN模型，其中，深度网络DN模型根据如下步骤训练：i)仅利用训练数据的特征向量进行无监督地学习来构造深度信念网DBN；将一个特征向量传入输入层，训练第一层的限制玻尔兹曼机RBM；接着固定第一层RBM参数，将第一层RBM的输出作为第二层RBM的输入，训练第二层RBM；类似地固定前两层RBM的参数，利用第二层RBM的输出完成第三层RBM的训练；当学习了全部的特征向量后，整个深度信念网DBN的训练过程也结束；ii)利用深度信念网DBN的参数初始化深度网络DN，然后采用反向传播算法，根据训练样本的类别标记进行有监督地微调深度网络DN参数，当经过若干次数的迭代或者误差减小至0.001～0.005范围内，第二部分的参数调整结束，以完成深度网络DN模型的训练阶段；b)测试阶段首先依次对测试语料进行候选项提取、特征提取，构造特征向量集；然后将特征向量集输入深度网络DN模型，利用深度网络DN模型对特征向量进行自动地判定和识别，实现对测试语料库的候选项的分类；最后根据分类的结果和人工审核得到正确的领域概念集。