[发明专利]基于强化学习的城市场景车联网多播路由方法

权利要求书

1.一种基于强化学习的城市场景车联网多播路由方法，其特征在于，车联网中每个车辆节点采用Q学习方法维护自己的车辆节点Q表，车联网中每个路边节点采用Q学习方法维护自己的路边节点Q表，基于车辆节点和路边节点Q表，实现了一种高动态适应性的多播路由方法，该方法具体步骤包括如下：

(1)构建车联网：

将城市区域中待联网的每个车辆和每个路边单元均作为一个节点组成车联网；将车联网中每个车辆节点的Q^V表中初始Q值设置为0；将车联网中每个路边节点的Q^C表中初始Q值设置为0；

(2)车联网中的每个车辆节点周期性地发送HELLO消息包；

(3)车辆节点更新Q^V表中的Q值；

(3a)接收到同一个HELLO消息包的每一个车辆节点，从HELLO消息包中提取最大Q值；

(3b)利用下述车辆节点瞬时奖励值公式，计算每个接收到HELLO消息包的车辆节点的车辆节点瞬时奖励值：

其中，R^V(l,h)表示第l个接收到HELLO消息包的车辆节点与发送HELLO消息包的车辆节点h之间的车辆节点瞬时奖励值，abs(·)表示取绝对值操作，表示求平方根操作，x_l表示第l个接收到HELLO消息包的车辆节点的横坐标，x_h表示发送HELLO消息包的车辆节点h的横坐标，y_l表示第l个接收到HELLO消息包的车辆节点的纵坐标，y_h表示发送HELLO消息包的车辆节点h的纵坐标，T表示车联网中无线信号传输范围；

(3c)利用车辆节点Q值更新公式，每个接收到HELLO消息包的车辆节点，利用其最大Q值和车辆节点瞬时奖励值，更新Q^V表中的Q值；

(4)车联网中的每个路边节点周期性地发送HELLO消息包；

(5)路边节点更新Q^C表中的Q值：

(5a)接收到同一个HELLO消息包的每一个路边节点，从HELLO消息包中提取最大Q值；

(5b)利用下述路边节点瞬时奖励值公式，计算每个接收到HELLO消息包的路边节点的路边节点瞬时奖励值：

其中，R^C(p,q)表示第p个接收到HELLO消息包的路边节点与发送HELLO消息包的路边节点q之间的路边节点瞬时奖励值，K_q表示发送HELLO消息包的路边节点q的多播组成员车辆节点集合中元素的个数，∑表示求和操作，i表示发送HELLO消息包的路边节点q的多播组成员车辆节点集合中元素的序号，表示发送HELLO消息包的路边节点q的多播组成员车辆节点集合中的第i个多播组成员车辆节点，R^m表示多播组成员路边节点集合；

(5c)利用下述路边节点Q值更新公式，每个接收到HELLO消息包的路边节点，利用其最大Q值和路边节点瞬时奖励值，更新Q^C表中的Q值：

其中，表示第p个接收到HELLO消息包的路边节点通过发送HELLO消息包的路边节点q向目的路边节点d转发的更新后的Q值，α表示学习率，其取值范围为[0,1]，表示更新前的值，γ表示折扣率，其取值范围为[0,1]，N(q)表示路边节点q的邻居路边节点集，表示路边节点q通过其邻居路边节点集中的邻居路边节点k向目的路边节点d转发的最大Q值；

(6)多播组源车辆节点将数据包发送到多播组源路边节点：

(6a)按照下式，多播组源车辆节点选择一个路边节点作为目的路边节点：

其中，c表示目的路边节点，表示多播组源车辆节点v_s经过邻居车辆节点v向路边节点c_i转发的Q值，表示取最大值时路边节点c_i的取值，c_e表示多播组源车辆节点v_s所在行驶路段上驶离方向的路边节点，c_x表示多播组源车辆节点v_s所在行驶路段上驶入方向的路边节点；

(6b)将多播组源车辆节点作为当前车辆节点；

(6c)当前车辆节点通过查询其自身Q^V表，得到当前车辆节点的下一跳邻居车辆节点，将当前车辆节点的数据包转发到下一跳邻居车辆节点；

(6d)判断接收到数据包的下一跳邻居车辆节点是否为目的路边节点，若是，则执行步骤(6f)，否则，将该下一跳邻居车辆节点作为当前车辆节点后执行步骤(6c)；

(6f)判断接收到数据包的目的路边节点是否为多播组源路边节点，若是，则执行步骤(7)，否则，将该目的路边节点的数据包转发到多播组源路边节点后执行步骤(7)；

(7)多播组源路边节点将目的路边节点的数据包转发到多播组成员路边节点集合中的每一个路边节点；

(8)多播组成员路边节点将多播组源路边节点的数据包转发到多播组成员车辆节点集合中的每一个车辆节点。