[发明专利]一种基于深度学习的生物医学命名实体识别和蛋白质交互关系抽取在线方法

权利要求书

1.一种基于深度学习的生物医学命名实体识别和蛋白质交互关系抽取在线系统，其特征包括如下步骤：

(一)构建基于滑动窗口的NER输入向量

如下表1-1所示，对句长为N句子进行实体识别时，首先利用大小为M的滑动窗口依次构造输入向量，将窗口内所有词向量的连接作为当前词的向量；当窗口M取3时，对于词w1而言，选用<None>,w₁,w₂对应的向量首尾相接作为w₁的输入向量；其中<None>是为填补首位位置窗口空白设计的补位符，对应的向量为0向量；而每个单词的向量则通过word2vec工具所提供的Skip-gram语言模型在大规模未标记语料上训练得到；

表1-1

(二)构建基于DBN全局优化的NER框架

NER看作是序列标注，描述为：对于给定观测序列o_1:T，对其赋予特定的标记序列l_1:T，采用经典的BIO标注集，即l_t∈{B,I,O}，t表示序列中第t个位置；经第一步操作后，每一个单词的输入向量按照顺序送入基于DBN全局优化的NER框架；一个n层的模型，该框架分为预训练和基于全局优化的微调两个阶段：

预训练阶段，每一层按照高斯-伯努利RBM的自由能公式，v节点取值为实数；

E(v,h;θ)=-Σi=1|v|Σj=1|h|wijvihj+12Σi=1|v|(vi-bi)2-Σj=1|h|ajhj---(9-0)]]>

条件概率为：    p(hj=1|v;θ)=σ(Σi=1|v|wijvi+aj)---(9-1)]]>

p(vi|h;θ)=N(Σj=1|h|wijhj+bi,1)---(9-2)]]>

RBM的训练目标最大化v的边缘概率的期望，即在训练过程当中w权重的更新Δw_ij＝<v_ih_j>_data-<v_ih_j>_model,即训练数据的观察期望减去模型分布的期望；后者；由Gibbs采样获得；

全局优化的微调阶段，其中v为输入层，前n层各参数由预训练阶段获得；将v记作h⁰；为了实现全局范围的优化，引入了一个转移特征，相应的全局最优的条件概率为：

表1-2 系统流程

其中γ_ij是对应的需要进行训练的系数；要计算的条件概率p(l_1:T|v_1:T)是在整个句子的范围内进行全局优化的，而不是局部优化后再做出调整；神经网络的训练，即后向传播算法，分成三个部分：λ的学习，γ的学习，权重w的学习；偏导公式分别如下：

∂log p(l1:Tm|v1:Tm)∂λkd=Σt=1T(δ(ltm=k)-p(ltm=k|v1:Tm))htdn,m---(9-4)]]>

∂log p(l1:Tm|v1:Tm)∂γij=Σt=1T(δ(lt-1m=i,ltm=j)-p(lt-1m=i,ltm=j|v1:Tm))---(9-5)]]>

∂log p(l1:Tm|v1:Tm)∂wijn=Σt=1T(λltd-Σk=1Kp(ltn=k|v1:Tn)λkd)·htdn,m(1-htdn,m)htin-1,m---(9-6)]]>

其中，每一层的权重w；通过链法则进行逐级求偏导，以上只给出对第n层w求偏导的公式；

(三)PPI特征提取

其中，抽取了四种常见的PPI特征：

1、蛋白质特征(P)：一个PPI实例中涉及到的两个蛋白质名；

2、上下文特征(C)：蛋白质周围的词，在window中的词(不包含蛋白质本身)被视为context特征；

3、中间词特征(B)：在蛋白质之间的词；

4、句子特征(S)：整个句子；

表2-3 特征提取

(四)向量组合

由于上述特征的长度不固定，而算法的输入向量是大小固定的，所以需要将原始特征变成大小固定的向量；采取向量组合的方法完成这一功能，具体如下：

max：取n个向量每个维度的最大值；

min：取n个向量每个维度的最小值；

mean：n个向量相加后除以n；

sum：n个向量相加；

表3-4 向量组合

(五)CNN与L2-SVM相结合的蛋白质关系抽取

表4-5 蛋白质关系抽取

神经网络与SVM的结合方式，顶层不再是softmax，而是L2-SVM；将SVM最大间隔的思想与深度神经网络结合起来，在保证特征优化的同时拥有更强的分类能力；SVM带约束的目标优化函数为：

minw,ϵn12wtw+CΣn=1Nϵn(s.t.wtxntn≥1-ϵn,∀nϵn≥0)---(9-7)]]>

其中ε_n是松弛变量，t即target，即实例x的标记，C是惩罚因子；通过引入拉格朗日乘子，；将上述目标函数表示为不带约束的目标函数，即L2-SVM的损失函数，记作：

minw12wtw+CΣn=1Nmax(1-wtxntn,0)2---(9-8)]]>

对第n层hⁿ求偏导公式如下：

∂l(w)∂hn=w-2Ctnw(max(1-wthntn,0))---(9-9).]]>