[发明专利]一种融合关系抽取的推荐系统及方法

权利要求书

1.一种融合关系抽取的推荐方法，其特征在于：包括如下步骤：

步骤一、关系抽取子模块预测实体间的关系，包括如下子步骤：

步骤1.1、句子特征提取器获取句子特征，具体为：

句子特征提取器利用句子本身包含的语义结构信息进行特征提取，是与实体信息高度相关的，最终得到句子特征；

步骤1.2、模板特征提取器经过实体替换、词嵌入、多头自注意力机制、双向LSTM、注意力机制操作，获得模板特征，具体为：

步骤1.2A模板特征提取器经过实体替换操作，将文本中的实体替换为实体上位词路径，得到替换掉实体的句子；

其中，得到替换掉实体的句子，包括如下步骤：

步骤1.2A1设置最长路径长度s；

步骤1.2A2初始化路径列表为空；

步骤1.2A3获得实体在WordNet词典的第一个上位词；

步骤1.2A4判断上位词是否为空，并决定是否跳转步骤1.2A5，具体为：

如果上位词为空，那么跳转到步骤1.2A5；

如果上位词不为空，那么将上位词加入列表中，将上位词赋给实体，返回步骤1.2A3执行；

步骤1.2A5计算路径列表长度；

步骤1.2A6比较路径列表长度和最长路径长度s的大小，完成得到替换掉实体的句子的方法，具体为：

若路径列表长度大于等于最长路径长度s，截取列表的前s项，采用“.”拼接，得到替换掉实体的句子；

否则，若路径列表长度小于最长路径长度s，采用“.”拼接全部列表项，得到替换掉实体的句子；

至此，经过步骤1.2A1至步骤1.2A6，句子中的实体替换为实体上位词路径，得到替换掉实体的句子；

步骤1.2B将步骤1.2A获取的替换掉实体的句子转化为位置向量；

其中，位置向量中元素的定义如下：如果一个词是实体上位词路径，那么其模板位置标志为“0”；如果该词是句子中的其它词语，那么其模板位置标志为“1”；

步骤1.2C将步骤1.2A获取的替换掉实体的句子和步骤1.2B获取的位置向量经过词嵌入操作，得到词矩阵和模板位置标志矩阵；

具体地，随机初始化词表和词表遍历文本的每个词x_i，取词表W和词表T的第i行，得到词x_i的词向量e_i和模板位置标志向量t_i；文本中所有词的词向量拼接，得到替换掉实体的句子的词矩阵x_e＝[e₁,e₂,...,e_n]；文本中所有词的模板位置标志向量拼接，得到替换掉实体的句子的模板位置标志矩阵x_t＝[t₁,t₂,...,t_n]；R为实数域，上标N×m_e和2×m_t代表R的维度；

其中，i从1遍历到n，n是替换掉实体句子的长度；N是词表中词语总数；表示词x_i的词向量，m_e是词向量的维度；表示词x_i的模板位置标志向量，m_t是模板位置标志向量的维度；

步骤1.2D将步骤1.2C获取的词矩阵首先经过多头自注意力机制操作，然后拼接模板位置标志矩阵，得到文本的低阶特征；

步骤1.2E将步骤1.2D获取的文本的低阶特征经过双向LSTM操作，得到文本的高阶特征；

步骤1.2F将步骤1.2E获取的文本的高阶特征经过注意力机制，得到模板特征，具体计算如式(1)到(5)所示：

M＝tanh(H)                           (1)

α＝softmax(Mw)                       (2)

R′＝tanh(r)                             (4)

R＝dropout(R')                           (5)

其中，H是文本的高阶特征； 是H的转置；m_h是高阶特征的维度；是需要训练的参数；α∈R^n×1是计算得到的权值列向量；是加权特征向量；注意力机制的输出为softmax(·)、tanh(·)为激活函数；dropout(·)表示将向量某维度的值随机替换为0的操作；

步骤1.3、门限融合器把句子特征和模板特征融合，得到文本特征；具体为：

步骤1.3A将句子特征和模板特征映射到相同的向量空间，保证两者的维度相同；即C_g＝tanh(W_mapcC+b_mapc)，R_g＝tanh(W_maprR+b_mapr)；

其中，是句子特征；是模板特征；是映射矩阵；是偏置向量；m_c是句子特征的维度；m_g是映射后的向量维度；

步骤1.3B计算C_g和R_g在维度粒度上的门限权值和

其中，exp(·)表示指数操作；

步骤1.3C将C_g和R_g分别赋予权值g_C和g_R，得到文本特征V；

其中，V＝g_C⊙C_g+g_R⊙R_g，⊙是逐元素相乘操作；

步骤1.4、把步骤1.3得到文本特征通过全连接网络和softmax(·)函数，预测关系，具体为：

首先，把文本特征V作为输入，通过全连接网络和softmax函数，得到关系类别的概率分布然后，取概率分布的最大值所对应的关系类别作为预测结果；

其中，S表示句子，是文本特征与关系的映射矩阵，b_S∈R^m是偏置向量，m是关系类别的数量，表示取最大结果对应的y值的操作；

步骤二、通过知识提取，获得词嵌入集合、基础实体嵌入集合和增强实体嵌入集合；

步骤2.1使用word2vec词嵌入方法，从大规模语料中训练得到词嵌入集合；

步骤2.2获得基础实体嵌入集合，具体为：

首先将文本与知识库进行匹配消歧，获得文本中包含的实体集合；由于原始知识图谱规模较大，然后从中抽取一个子图，去除不存在实体集合中的结点，得到基础知识图谱；最后采用知识表示学习方法TransD，将基础知识图谱中的实体和关系映射到低维向量空间中，获得基础实体嵌入集合；

步骤2.3获得增强实体嵌入集合，具体为：

首先将文本与知识库进行匹配消歧，获得文本中包含的实体集合；然后在描述文本中标注出对应的实体，采用关系抽取子模块进行关系识别；经过实体链接后，一个句子中可能包含多个实体，对所有的实体进行组合、预测，构建出增强知识图谱；最后采用知识表示学习方法TransD，将增强知识图谱中的实体和关系映射到低维向量空间中，获得增强实体嵌入集合；

步骤三、采用知识感知的卷积神经网络KCNN构建物品特征；

步骤3.1在步骤二获得的词嵌入集合的基础上构建文本特征矩阵；具体为：

首先在词嵌入集合中查找物品描述文本中每个单词对应的向量，如果没有则随机初始化向量；然后所有向量拼接得到文本特征矩阵；

步骤3.2在步骤二获得的基础实体嵌入集合的基础上构建基础实体特征；具体为：

首先在基础实体嵌入集合中查找物品描述文本中每个单词对应的向量，如果没有则使用零向量代替；然后通过映射函数f_m(X)＝ReLU(W_mX+b_m)将每个向量映射到和文本特征相同的向量空间中；最后所有向量拼接得到基础实体特征矩阵；

其中，是变换矩阵；是偏置向量；d_w是词嵌入的维度；d_e是基础实体嵌入的维度；

步骤3.2在步骤二获得的增强实体嵌入集合的基础上构建增强实体特征矩阵；具体为：

首先在增强实体嵌入集合中查找物品描述文本中每个单词对应的向量，如果没有则使用零向量代替；然后通过映射函数f_m(X)＝ReLU(W_mX+b_m)将每个向量映射到和文本特征相同的向量空间中；最后所有向量拼接得到增强实体特征矩阵；

步骤3.3将文本特征矩阵、基础实体特征矩阵和增强实体特征矩阵堆叠后作为KCNN模型的三通道输入；

步骤3.4使用多个卷积核构建物品特征向量，得到物品的特征向量；

步骤四、使用注意力机制构建用户兴趣构建用户兴趣；具体如下：

首先采用一个注意力网络计算影响度，注意力网络的输入信息是目标物品和用户历史行为中交互物品的特征向量q_v和拼接后通过全连接网络输出权值然后经过归一化处理，得到的影响度最后构建出用户u的兴趣特征向量

步骤五、把用户u的兴趣特征向量u和目标物品v的特征向量q_v拼接，通过多层感知机预测用户u点击目标物品v的概率p(x)＝MLP([u:q_v])；

其中，MLP(·)表示多层感知机，使用ReLU非线性激活函数；x表示模型的输入；[:]表示向量拼接操作。

2.根据权利要求1所述的一种融合关系抽取的推荐方法，其特征在于：

步骤1.1中句子特征提取器为关系抽取模型，该模型为端对端模型、基于词法模型以及基于句法模型中的一种；

其中，端对端模型完全不依赖外部知识、只使用句子和句中实体对信息；

基于词法模型使用句子中包含的词法信息，包括命名实体识别、词性标注、WordNet上位词；

基于句法模型使用句子中包含的句法信息，包括短语结构树、依存树和最短依存路径。