[发明专利]基于实体超平面投影的知识表示学习模型

权利要求书

1.基于实体超平面投影的知识表示学习方法，具体是按照以下步骤进行的：

步骤一、将实体的描述文本处理成矩阵形式；

步骤二、将步骤一得到的矩阵形式的文本输入到卷积神经网络中，得到实体描述文本的特征向量；

步骤三、利用步骤二得到的特征向量建立EHP模型，得到实体以及关系的最终向量表示；

所述步骤二中将步骤一得到的矩阵形式的文本输入到卷积神经网络中，得到实体描述文本的特征向量；具体过程为：

卷积神经网络设置为6层拓扑结构，卷积神经网络的网络结构包括1层输入层、第一层卷积层、第一层池化层、第二层卷积层、第二层池化层、1层输出层；

1)卷积层设置：使用一组长度为k的一维卷积层，k是文本的长度也就是单词数，实体经过预处理后的文本序列X＝{x₁,…,x_n}即为第一层卷积层的输入，采用补零的方法在序列后面补上全零向量，非线性函数使用ReLU函数；

2)池化层设置：第一层池化层采用m-最大池化策略，第二层池化层采用平均池化策略；

3)通过最小化目标函数反向传播更新卷积神经网络参数；

其中，f_r(h,t)为正例三元组得分，h是头实体的描述文本通过卷积网络生成的特征向量，r是关系向量，t是尾实体的描述文本通过卷积网络生成的特征向量，f_r'(h',t')是负例三元组得分；h'是数据集中不同于h的实体的描述文本，t'是数据集中不同于t的实体的描述文本，r'是数据集中不同于r的实体的描述文本；T为正例三元组集合，T'为负例三元组集合；

输出层输出实体描述文本的特征向量；

所述步骤三中利用步骤二得到的特征向量建立EHP模型，得到实体以及关系的最终向量表示；具体过程为：

1)EHP模型输入初始化：

EHP模型输入包括：头实体的表示向量h_s，由头实体描述文本通过卷积神经网络生成的特征向量h_d；尾实体的表示向量t_s，由尾实体描述文本通过卷积神经网络生成的特征向量t_d；最大间隔γ，实体投影到语义超平面的法向量w；超参数λ₁、λ₂，正交参数ε；步骤二得到的文本的特征向量；学习率；

2)EHP模型使用随机梯度下降优化算法进行训练，使用链式法则对参数以及头尾实体表示向量进行更新；训练得到实体表示向量以及关系表示向量；具体过程为：

EHP模型训练时的目标函数如下：

第一部分是针对EHP模型的能量函数使用最大间隔法进行训练，能量函数如下：

其中，L为目标函数，[·]₊＝max(·,0)代表了当[·]₊内的数值大于等于0的时候保持不变，小于0的时候取0；

T是正例三元组集合，而T'是负例三元组集合，如下：

T′＝{(h′,r,t)|h′∈E}∪{(h,r,t′)|t′∈E}∪{(h,r′,t)|r′∈R}

其中，E为数据集中的实体集合，R为数据集中的关系集合；

第二部分控制w成为语义超平面的法向量，使得w与h_d和t_d都正交；

训练达到L最小，得到实体以及关系的表示向量。

2.根据权利要求1所述基于实体超平面投影的知识表示学习方法，所述步骤一中将实体的描述文本处理成矩阵形式；具体过程为：

步骤一一、对实体的描述文本进行预处理：

1)根据停用词词表去除文本中的停用词；

2)对去除停用词后的文本统一英文大小写字符；

3)针对实体的描述文本中的实体名称将实体名称看作一个词而不进行拆分；

经过预处理后的文本被处理成有语序的多个词语的集合，预处理后的文本表示为X＝{x₁,…,x_i,…,x_n}，其中x_i代表文本预处理后的第i个词；

步骤一二、分别将步骤一一得到的预处理后的文本中的每一个词输入到word2vec模型，得到文本中的每一个词的词向量表示，基于词向量得到文本矩阵；

其中矩阵每一行是一个词的表示向量。