[发明专利]基于DeepLearning的领域概念抽取方法

权利要求书

1.一种基于Deep Learning的领域概念抽取方法，其特征在于该方法包括以下具体步骤：

a)训练阶段

首先提取训练语料库中的正负样本，并进行标记；然后结合训练语料库和背景语料库，对正负样本进行特征提取，构造特征向量集；最后利用特征向量集和对应的标记在matlab的深度学习工具箱的环境下训练得到深度网络DN模型，其中，深度网络DN模型根据如下步骤训练：

i)仅利用训练数据的特征向量进行无监督地学习来构造深度信念网DBN；

将一个特征向量传入输入层，训练第一层的限制玻尔兹曼机RBM；接着固定第一层RBM参数，将第一层RBM的输出作为第二层RBM的输入，训练第二层RBM；类似地固定前两层RBM的参数，利用第二层RBM的输出完成第三层RBM的训练；当学习了全部的特征向量后，整个深度信念网DBN的训练过程也结束；

ii)利用深度信念网DBN的参数初始化深度网络DN，然后采用反向传播算法，根据训练样本的类别标记进行有监督地微调深度网络DN参数，当经过若干次数的迭代或者误差减小至0.001～0.005范围内，第二部分的参数调整结束，以完成深度网络DN模型的训练阶段；

b)测试阶段

首先依次对测试语料进行候选项提取、特征提取，构造特征向量集；然后将特征向量集输入深度网络DN模型，利用深度网络DN模型对特征向量进行自动地判定和识别，实现对测试语料库的候选项的分类；最后根据分类的结果和人工审核得到正确的领域概念集。

2.根据权利要求1所述的方法，其特征在于所述构造特征向量集，是以下述特征构成：

词频(TF)；

文档频率(DF)；

逆文档频率(IDF)；

词语长度(LEN)；

词频方差(TV)；

领域一致度(DC)。

3.根据权利要求1所述的方法，其特征在于所述步骤b)中对测试语料的候选项的分类是将领域概念的抽取作为二元分类，以将候选概念分为领域概念及非领域概念两类；根据DN模型的输出值，得到候选特征x和类别y的共现概率p(x,y)，用共现概率p(x,y)来衡量一个候选概念在特征为x的情况下属于类别y的置信度；x表示候选概念的特征向量，而类别y表示领域概念、非领域概念两类之一；通过训练语料库得到的分类器，在测试数据集上利用分类器自动判别候选概念的类别。