[发明专利]基于上下文的引文推荐方法、装置、电子设备和存储介质在审
申请号: | 202110502375.8 | 申请日: | 2021-05-08 |
公开(公告)号: | CN113191142A | 公开(公告)日: | 2021-07-30 |
发明(设计)人: | 岂凡超;刘知远;孙茂松;易婧 | 申请(专利权)人: | 清华大学 |
主分类号: | G06F40/284 | 分类号: | G06F40/284;G06F40/30;G06N3/04;G06N3/08 |
代理公司: | 北京路浩知识产权代理有限公司 11002 | 代理人: | 李文清 |
地址: | 100084 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 上下文 引文 推荐 方法 装置 电子设备 存储 介质 | ||
1.一种基于上下文的引文推荐方法,其特征在于,包括:
确定待推荐引文的上下文;
将所述上下文输入引文推荐模型,输出对应的推荐引文;
其中,所述引文推荐模型是基于样本上下文和对应的引文标签进行训练得到的,所述引文推荐模型训练时的网络结构包括依次连接的引文向量描述网络、上下文向量描述网络和引文匹配度计算网络。
2.根据权利要求1所述的基于上下文的引文推荐方法,其特征在于,所述样本上下文和对应的引文标签的构建,具体包括:
基于预设引文库确定可能推荐引文标签;
对于任一可能推荐引文标签,若其同时存在于预设语料库,则,
确定所述任一可能推荐引文标签为正确引文标签,并确定所述预设语料库中所述正确引文标签对应的上下文为样本上下文;
所述引文推荐模型的训练过程中,对于当前轮次迭代计算使用的样本上下文再临时从所述预设引文库中排除所述样本上下文对应的正确引文标签的其他引文集合中随机选出预设训练个数的负引文标签,结合所述预设训练个数的负引文标签和正确引文标签构建当前轮次迭代计算使用的样本上下文对应的引文标签。
3.根据权利要求2所述的基于上下文的引文推荐方法,其特征在于,所述引文向量描述网络用于将输入的引文结合所述引文的义原信息采用向量表示。
4.根据权利要求3所述的基于上下文的引文推荐方法,其特征在于,所述引文推荐模型训练时的网络结构包括依次连接的引文向量描述网络、上下文向量描述网络和引文匹配度计算网络,具体包括:
所述引文推荐模型的训练过程中,
引文向量描述网络将输入的引文标签结合该引文标签中每个引文的义原信息采用向量表示输出引文向量矩阵至引文匹配度计算网络;
上下文向量描述网络将输入的对应样本上下文采用向量表示输出上下文向量至所述引文匹配度计算网络;
所述引文匹配度计算网络基于所述引文向量矩阵和所述上下文向量确定所述引文标签中正确引文标签的伪匹配度;
其中,所述伪匹配度用于构建所述引文推荐模型训练时的损失函数。
5.根据权利要求4所述的基于上下文的引文推荐方法,其特征在于,所述引文向量描述网络将输入的引文标签结合该引文标签中每个引文的义原信息采用向量表示输出引文向量矩阵,具体包括:
引文向量描述网络通过如下公式计算输入的引文标签中任一引文qk中任一词语均向量w′i:
其中,是所述任一词语的义原集合,sj是中义原sj的向量表示,wi为所述任一词语的词向量,α为预设权值系数,sj和wi均为所述引文推荐模型训练时网络结构中的待优化参数;
所述引文向量描述网络再通过如下公式计算所述任一引文qk的引文向量qk:
其中,PLMq为引文表示模型,[CLS]为所述引文表示模型中特殊句子起始符,m为引文qk的词数,为所述引文表示模型输出的所述任一引文qk中的词语的隐状态,为所述引文表示模型输出的所述任一引文qk中的词语的隐状态,为所述引文表示模型输出的所述任一引文qk中的词语的隐状态,为所述引文表示模型输出的所述特殊句子起始符[CLS]的隐状态,所述引文表示模型使用过程中使用分别对应的词向量w′1,…,w′i,…,w′m参与隐状态的计算;
所述引文向量描述网络最后通过如下公式计算引文向量矩阵Q*并输出:
其中,k*=1,2,...,n*,n*-1为所述预设训练个数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110502375.8/1.html,转载请声明来源钻瓜专利网。