[发明专利]基于知识图谱和Transformer的专利推荐方法

说明书

本发明公开了一种基于知识图谱和Transformer的专利推荐方法，包括以下步骤：爬取专利资源库构建知识图谱；通过图卷积网络和注意力机制的混合模型挖掘知识图谱，得到用户和专利的内容特征表示向量；通过Transformer模型挖掘用户信息，得到用户历史偏好的序列特征向量；将内容特征表示向量和序列特征向量级联结合，输入Transformer模型的Softmax层计算，得到多个候选专利被推荐的概率值；对多个概率值进行Top‑k排序，得到Top‑k个专利作为目标用户的推荐结果。该方法采用知识图谱丰富特征表示，采用Transformer挖掘行为序列特征，提高推荐结果的精准性和可解释性。

技术领域

本发明涉及专利推荐技术领域，特别涉及一种基于知识图谱和Transformer的专利推荐方法。

背景技术

随着我国科技事业的蓬勃发展，各项科技资源、成果呈现出极速增长的态势。专利作为科技成果的主要呈现形式之一，2018年我国发明专利申请量高达154.2万件，其中授权发明专利43.2万件。而伴随专利资源库的飞速扩张，如何从海量专利资源中获取与自身兴趣、需求匹配的专利资源已成为科技成果转化中的一个重要问题。专利推荐算法作为专利资源信息过滤的重要手段之一，是解决专利信息过载的一种有效方法，目前主要的专利推荐算法有：

(1)基于内容的专利推荐方法。该方法是专利推荐的基础方法之一，其核心思想是为用户推荐与其过去感兴趣专利相似的专利。通过获取专利和用户的元数据(包含属性、特征、历史兴趣等)，进而基于元数据将专利、用户实现特征表示，根据特征表示，计算专利特征和用户历史偏好的相似度，相似度高则证明专利与用户历史偏好匹配，最终将高相似度的专利作为推荐结果返回。

(2)基于协同过滤的专利推荐方法。该方法基于已有用户对已有专利的历史行为，实现对当前用户的专利推荐。该方法主要分为三个小类：基于用户的协同过滤，主要思想是历史专利访问记录相似的用户也是相似的，从而计算用户间的相似度，为用户推荐与其相似的用户感兴趣的专利；基于物品的协同过滤，主要思想是专利的访问用户记录相似的专利也是相似的，从而计算专利间的相似度，为用户推荐与其历史访问专利相似的专利；基于模型的协同过滤，其典型算法是矩阵分解，通过对用户-专利交互评分矩阵的分解，再相乘实现矩阵补全，为用户推荐用户评分高的专利。

(3)基于深度神经网络的专利推荐方法。该方法通过对用户和专利的特征表示得到对应的编码向量，基于用户和专利的编码向量作为深度神经网络的输入，是否推荐作为深度神经网络的输出结果，采用监督学习的方式对网络进行训练，最终基于训练的深度神经网络实现对用户-专利对的推荐结果预测。

如上述，目前针对专利的推荐方法主要有：1)基于内容的专利推荐方法；2)基于(用户/物品/模型)协同过滤的专利推荐方法；3)基于深度神经网络的专利推荐方法。

方法(1)基础、易于理解，对于不过高要求推荐相关性的简单推荐而言易于实现，但是对专利、用户需收集的信息要求高，对于绝大部分普通用户而言，其用户属性信息大多是缺失的，从而导致推荐的专利结果不够精准，而且具有严重的用户冷启动问题。方法(2)依赖的是用户-专利的历史交互评分矩阵，通过用户或专利相似度等得到未知的用户-专利交互评分实现推荐，避免了用户、专利的信息获取和特征提取，但也忽略了对用户、专利本身特征的考虑，对用户偏好的预测存在偏差，同时，用户的评分行为难以获取，存在严重的数据稀疏和冷启动问题。方法(3)采用了当下流行的深度神经网络算法，能更好地实现对用户、专利到是否被推荐这一结果的映射，但却缺乏对用户之间的相关性、专利之间的相关性的考虑，同时深度神经网络作为典型的“黑盒”计算模型，其推荐结果缺乏很好的可解释性，用户难以对最终推荐结果予以肯定。

另外，上述目前主流的三类专利推荐方法还存在一个共同问题，即忽略了对用户历史交互行为序列的考虑，用户历史行为序列反映的是用户偏好的重点和变化，对于不同用户的精准专利推荐实现具有重要的作用。