[发明专利]一种网络重构方法及装置

说明书

本申请提供一种网络重构方法及装置，其中，该方法包括：以原始网络中的节点表征智能体的状态及动作，基于环境回报信息在该原始网络中对该智能体进行强化学习，以使得该智能体学习到该原始网络中的结构拓扑信息以及用于去除该原始网络中的噪声信息的规则；获取经过强化学习的该智能体从该原始网络中的当前节点迁移至下一节点形成的移动路径，并将该下一节点作为当前节点，重复执行该获取移动路径的步骤，直到该原始网络中的节点遍历完毕，将所有移动路径连接成的网络作为该原始网络的重构网络，该重构网络在保留原始网络的重要拓扑结构的同时，可以有效的减少原始网络的噪声、异常边，同时增加一些潜在的关系边。

技术领域

本申请涉及数据处理领域，尤其涉及一种网络重构方法及装置。

背景技术

在自然界中存在的大量复杂系统都可以通过形形色色的网络加以描述。一个典型的网络是由许多节点以及节点之间的连边组成，其中节点用来代表真实系统中不同的个体，而边则用来表示个体间的关系，往往是两个节点之间具有某种特定的关系则连一条边，反之则不连边，有边相连的两个节点在网络中被看作是相邻的。例如，神经系统可以看作大量神经细胞通过神经纤维相互连接形成的网络；计算机网络可以看作是自主工作的计算机通过通信介质如光缆、双绞线、同轴电缆等相互连接形成的网络；类似的还有电力网络、社会关系网络、交通网络、调度网络等。

目前，利用数据构建出的网络，由于关系构建规则的不准确或者数据本身存在噪声、异常等问题，会存在异常的节点关系，或者导致一些潜在的节点关系没有构建出来。例如，在安防领域中，可以利用人员的基本属性、行为等数据结合预设的关系构建规则构建人员关系网络，但由于关系构建规则的不准确或者提取的数据本身存在噪声、异常等问题，会存在一定程度异常的节点关系，同时也会导致一些潜在的节点关系没有构建出来。而利用这种异常的关系网络会影响对安防领域中的人员、案件、行为等的分析效果，也会导致下游任务性能的降低。

发明内容

有鉴于此，本申请提供一种网络重构方法及装置。

具体地，本申请是通过如下技术方案实现的：

第一方面，本申请实施例提供了一种网络重构方法，所述方法包括：

以原始网络中的节点表征智能体的状态及动作，基于环境回报信息在所述原始网络中对所述智能体进行强化学习，以使得所述智能体学习到所述原始网络中的结构拓扑信息以及用于去除所述原始网络中的噪声信息的规则；

获取经过强化学习的所述智能体从所述原始网络中的当前节点迁移至下一节点形成的移动路径，并将所述下一节点作为当前节点，重复执行所述获取已训练的所述智能体从所述原始网络中的当前节点迁移至下一节点形成的移动路径的步骤，直到所述原始网络中的节点遍历完毕；

将所有移动路径连接成的网络作为所述原始网络的重构网络。

可选地，所述环境回报信息包括环境瞬时回报及环境延迟回报；

所述以原始网络中的节点表征智能体的状态及动作，采用所述智能体基于环境回报信息在所述原始网络中进行强化学习，包括：

从原始网络中选取一节点作为智能体t时刻的状态，记录所述t时刻的状态；

将所述状态输入至预设的价值网络，获取所述价值网络输出的最大价值的动作，作为t时刻要执行的动作；

执行所述动作，以转移至t+1时刻的状态，并记录所述t+1时刻的状态；

确定该动作的环境瞬时回报，并基于所述环境瞬时回报更新所述价值网络；

将所述t+1时刻的状态作为t时刻的状态，基于更新后的价值网络，继续执行所述将所述状态输入至预设的价值网络的步骤，直到记录的状态的数量达到预设数量阈值时，完成本轮行动；