[发明专利]一种基于多智能体强化学习的车联网频谱共享方法

说明书

本发明公开了一种基于多智能体强化学习的车联网频谱共享方法，包括建立车联网系统模型，基于马尔科夫决策过程建立强化学习中观测空间、行为空间、奖励设定的基础模型，然后将系统模型中的车辆链路视为智能体，利用强化学习SAC(Soft Actor‑critic)思想设计频谱共享方法。本发明的设计方案能够以合作的方式实现车联网中车辆与车辆(Vehicle‑to‑Vehicle,V2V)链路和车联与路旁基础设施(Vehicle‑to‑Roadside Infrastructure,V2I)链路的频谱共享，保证最大化V2I链路的信道容量和性能和V2V链路载荷的成功传输概率性能。

技术领域

本发明涉及无线网络通信技术领域，具体为一种车联网环境下基于多智能体强化学习的车联网频谱共享方法。

背景技术

随着现代交通和网络通信技术的不断发展，车联网概念应运而生，是实现安全高效智能交通系统的关键技术支撑。资源分配机制是保障车联网信息交换的重要技术之一，基于强化学习的的资源分配方法更成为近年来车联网的研究热点。以往大多数研究均采用了Q-Learning思想，只适用于低维离散行为空间，未考虑到行为空间的变化需求，进而导致网络链路性能的恶化。针对上述问题，Yih an Xu等人提出了一种基于强化学习DDPG的处理连续高维动作空间的车联网频谱资源分配方法，使V2I通信的和率最大化并且同时满足V2V通信的严格延迟和可靠性约束。然而，上述资源分配方法并未考虑到多个V2I链路的合作机制。

发明内容

本发明旨在提供一种车联网环境下基于多智能体强化学习的频谱共享方法，以完成V2I链路和V2V链路的频谱资源分配任务。

实现本发明的目的方案为：一种车联网环境下基于多智能体强化学习SAC的频谱共享方法，具体步骤为：

步骤1、建立车联网系统模型，确定整个仿真过程中所需参数及性能指标。

步骤2、基于马尔科夫决策过程建立强化学习中智能体与环境交互的空间模型，确定一固定段时间T作为一个周期，获取智能体在环境中做出的行为以及获取的奖励。

步骤3、在车联网系统模型中引入强化学习的基础交互模型，设计基于多智能体强化学习SAC思想的频谱共享方法。

本发明与现有技术相比，其显著优点为：通过本发明能够根据车联网环境下链路的不同通信需求对已有的频谱资源进行分配，在最大化V2I链路信道总容量和以及V2V链路载荷交付率的基础上还促成了链路之间的合作机制，因此能够为车联网的有效通信提供帮助。

附图说明

图1为本发明的流程图

图2为多智能体环境下V2I链路总容量和随载荷大小数量B的变化

图3为多智能体环境下V2V载荷传输成功概率随载荷大小数量B的变化

图4为SAC模型中V2V链路传输速率随时间变化情况

图5为随机基线模型中V2V链路传输速率随时间变化情况

具体实施方式

本发明中，频谱共享方案具体为在单位时间T内，V2I链路已经被预先分配好频谱。将单个V2V代理看作一个智能体，用三层神经网络来模拟其行为策略。车辆网络中K个智能体不断地与环境进行交互，获知环境中的V2I链路频谱使用情况、信道干扰信息及其他智能体的通信情况，根据观测结果智能体将学习到一种有效的行为策略，在单位时间T内选择自己要占用的V2I频谱子带和自身传输功率，从而发送数据。一种车联网环境下基于多智能体强化学习SAC的频谱共享方法，具体步骤为：

步骤1、建立车联网系统模型，确定整个仿真过程中所需参数及性能指标。

步骤2、基于马尔科夫决策过程建立强化学习中智能体与环境交互的空间模型，确定一固定段时间T作为一个周期，获取智能体在环境中做出的行为以及获取的奖励。