[发明专利]一种基于双更新策略的车联网节点转发效用学习方法

说明书

本发明是一种基于双更新策略的车联网节点转发效用学习方法。本发明涉及移动机会网络通信技术领域，基于车辆节点间信息交互过程中的信息更新，确定学习过程中基本要素；确定节点接触新鲜度系数，确定节点接触概率，建立车载机会网络中节点转发先用学习模型；根据车载机会网络的路由需求和节点机会接触特性，确定转发效用学习更新模型，建立转发效用值数据包转发更新策略，获取发送节点从上一节点中接收该数据包的时刻，建立转发效用值节点接触更新策略，在更新过程中采用与转发更新过程不同的学习系数。本发明提高车载机会网络的传输性能，包括提高数据包投递成功率和降低数据包传输时延。

技术领域

本发明涉及移动机会网络通信技术领域，是一种基于双更新策略的车联网节点转发效用 学习方法。

背景技术

工业自动化的发展浪潮推动着信息传感、数据通信以及数据处理等高新技术的发展不断 前进，大量具备信息感知处理能力、短距离信息无线传输能力的智能设备被应用于如城市智 能交通、海洋环境监测、野生动物迁移追踪等众多领域，社会发展逐步进入物联网信息时代。 为了满足物联网/车联网泛在互联、全面感知需求，智能设备之间需要进行组网互联，因此设 备间组网技术日益成为物联网研究领域的焦点。高动态自组织网络/车联网实际应用中，往往 会面临城市中节点分布稀疏、网络拓扑变化快等问题，不能保障网络的连通性，因此传统的 移动自组织网络通信协议不再适用于这些复杂场景。因为这些传统通信协议应用的条件是保 证网络中任意节点对间完整连通的端到端链路不能少于一条，而在实际的自组织网络中这一 条件很难得到满足，所以很难保证网络的传输性能，使得车联网在现实应用中难以得到推广。

车载移动机会网络/车联网在原有五层网络体系结构基础上，在应用层和运输层之间引 进束层(Bundle Layer)，如附图1所示。束层使得网络节点原有的“存储-转发”(Storeand Forward) 数据通信方式转变为“存储-携带-转发”(Store-Carry-Forward)通信方式，将网络拓扑动态变化 这一劣势转化为可应用特征，依靠车辆节点移动产生的机会接触，选择中继节点进行数据包 转发，直到数据包到达目的节点。附图2为车载移动机会中网络数据包传输过程。数据包从 节点S产生，然后向D传递的整个过程。假设在T₁时刻，在节点S上产生了目的节点为D的 数据包，而两个节点间并不存在完整端到端链路，而节点S传递范围内也没有合适的邻近节 点被选作中继节点，因此节点S继续携着数据包在网络中移动；在T₂时刻，节点S遇到节点R， 而且节点R具有更大的传输潜力，因此S将数据包转发给节点R，R携带该数据包在网络中 移动；在T₃时刻，节点R移动进入目的节点D的通信区域，因此R将该数据包传给节点D， 完成数据传递任务。

对于车载移动机会网络来说，选择合适的中继节点来携带数据包对于网络传输的性能至 关重要。而在中继节点选择过程中，根据车载移动机会网络的网络特性以及节点特征为其制 定合理并且有效的转发节点效用计算方法的作用尤为重要。

发明内容

本发明利用车辆节点间信息交互(数据包在节点间传递产生的信息交互、网络中节点相 遇接触产生的信息交互)进行强化学习状态-动作值的更新，使得网络节点可以随强化学习的 学习过程逐步获取节点对数据包的转发效用，提高移动机会网络的传输性能。在车载机会网 络中，车辆通过车载WIFI、蓝牙或者短程专用通信设备进行通信，实现车间通信。本发明提 供了一种基于双更新策略的车联网节点转发效用学习方法，本发明提供了以下技术方案：

一种基于双更新策略的车联网节点转发效用学习方法，包括以下步骤：

步骤1：基于车辆节点间信息交互过程中的信息更新，确定学习过程中基本要素，；

步骤2：基于车辆节点间信息交互过程中的信息更新，确定节点接触新鲜度系数，

步骤3：确定节点接触概率，建立车载机会网络中节点转发先用学习模型；