[发明专利]一种基于强化学习的目标社区搜索方法和装置

说明书

本发明涉及一种基于强化学习的目标社区搜索方法和装置。该方法包括：1)三个基础支持组件，包括：数据集构建、特征抽取、模型训练与存储；2)负责给不同社区打分的社区评价模型；3)负责对给定的任意单个或多个目标用户，采用深度强化学习算法，以社区评价模型的打分为奖励函数，持续优化社区搜索结果来挖掘最匹配目标社区的社区搜索模型。该方法基于深度强化学习设计，可以在融合内容结构多方面特征同时，自适应在不同领域、不同在线网络平台中实现高效的目标社区搜索任务。

技术领域

本发明属于信息技术领域，主要针对众多在线网络平台，考虑在给定部分目标用户的前提下，如何快速挖掘同社区的用户。该方法基于先进的深度强化学习技术，从数据中高效自适应地学习社区搜索规则，可以被广泛应用在社交、电子商务等不同在线网络平台中。

背景技术

目标社区搜索是众多在线网络平台中广泛存在的一种基于查询的社区发现方法。例如在社交网络中，查询单个或多个目标用户共同的兴趣社区；在电子商务系统中，查询与给定目标作弊用户有协同关系的作弊团伙等。

然而，对于这类目标社区搜索任务，传统的解决方案主要通过利用结构化信息描述社区，将目标社区发现转换为大图中搜索问题。但这种方法没有考虑目标社区的内容相关度(或者考虑内容相关度的方法比较僵硬)，同时，面对巨大的社区搜索空间，搜索过程缺乏指导或仅基于预定义的启发式策略，性能受限，且不同场景下搜索策略的定义依赖专家知识，成本高昂。

针对众多在线网络平台中的目标社区搜索任务，给出一种高效、自适应低成本的目标社区搜索方法不仅有重要的学术价值，同时会有广泛的应用前景。

发明内容

本发明提出了一种基于深度强化学习的自适应目标社区搜索方法。通过设计并优化一个社区评价模型，以及一个基于深度强化学习的社区搜索模型，使得本发明可以在众多在线平台中高效、自适应地实现目标社区搜索任务。

本发明采用的技术方案如下：

一种基于深度强化学习的自适应目标社区搜索方法，包括以下步骤：

利用社区评价模型为社区搜索模型输出的不同社区打分；

对于给定的任意单个或多个目标用户，采用深度强化学习算法，以社区评价模型反馈的打分作为奖励函数，持续优化社区搜索模型来挖掘最匹配的目标社区。

进一步地，为社区评价模型和社区搜索模型建立基础支持组件，包括：数据集构建组件、特征抽取组件、模型训练与存储组件；数据集构建组件负责为社区评价模型构建训练数据；特征抽取组件和模型训练与存储组件负责为社区评价模型和社区搜索模型的训练与优化提供进一步支持。

进一步地，所述社区评价模型定义E_θ(·|G(X，A))，其中θ表示神经网络参数，G表示任意给定社区，X表示此社区节点特征信息集合，A为此社区结构的邻接矩阵表示，符号“·”为普通占位符，表示模型的输出。E_θ接收任意G(X，A)作为输入，并输出此社区属于真实社区的概率p_G(X，A)＝E_θ(·|G(X，A))。

进一步地，训练社区评价模型时，数据集构建组件负责处理社区评价模型训练所需要的数据集合；特征抽取组件负责预处理已有数据、获取图上每个节点的特征表达x_u∈X；模型训练与存储组件负责模型基础训练流程与历史版本记录。

进一步地，对上述数据集构建组件，考虑已知社区数据有限，且标记社区可能并不完整，将每个社区作为单独的训练样本将会导致训练数据严重不足或不精准。这里本发明从已有社区数据出发，通过构建成对的训练样本来解决此问题、进而支持后续社区评价模型的训练。具体地，对于任意一个给定社区G(X，A)，每次从中随机采样一个连通的子社区结构作为正样本；另外随机删除此子社区中部分原始用户并加入部分与此子社区结构上相连但不属于同社区的用户，将此样本作为负样本。每一个这样的正负样本对共同构成一个完整的社区评价模型训练样本。