[发明专利]一种车载自组网络数据包传送方法及装置

权利要求书

1.一种车载自组网络数据包传送方法，其特征在于，包括：

根据车载自组网络的当前状态信息，结合马尔科夫决策过程模型，构建当前网格的状态空间和当前网格的动作空间；其中，所述当前网格中包括数据包发送节点；

根据所述状态空间和所述动作空间，结合联合估计Q学习算法模型，获取所述当前网格中数据包发送节点的最大动作价值收益值，以根据所述最大动作价值收益值确定目标安全网格；

基于最小角度选择策略，在所述目标安全网格中选取中继节点，通过所述中继节点进行数据包传送；

其中，所述根据所述状态空间和所述动作空间，结合联合估计Q学习算法模型，获取所述当前网格中数据包发送节点的最大动作价值收益值的步骤，具体包括：

在所述数据包发送节点为车辆节点的情况下，根据所述状态空间和所述动作空间，通过车辆节点联合估计Q学习算法模型，确定所述车辆节点的最优动作价值收益值；

在所述数据包发送节点为路边单元节点的情况下，根据所述状态空间和所述动作空间，通过路边单元节点联合估计Q学习算法模型，确定所述路边单元节点的最优动作价值收益值；

将所述车辆节点的最优动作价值收益值和所述路边单元节点的最优动作价值收益值中的最大值，作为所述数据包发送节点的最大动作价值收益值；

其中，所述确定所述车辆节点的最优动作价值收益值的步骤，具体包括：

所述车辆节点基于所述状态空间和所述动作空间，选择执行的动作，观察所述动作执行后的结果奖励值；所述动作指的是所述车辆节点随机选择的动作或所述车辆节点从相邻车辆节点学习的最优动作；

观察统计所述车辆节点的相邻车辆节点的动作选择概率，并得到所述动作选择概率的第一归一化结果；

根据所述第一归一化结果，获取所述动作的第一联合估计动作价值收益值；

根据所述第一联合估计动作价值收益值，更新所述车辆节点的动作价值收益值；

根据所述结果奖励值和所述车辆节点的动作价值收益值，基于贝尔曼方程，获取当前网格的车辆节点的最优动作价值收益值。

2.根据权利要求1所述车载自组网络数据包传送方法，其特征在于，所述确定所述路边单元节点的最优动作价值收益值的步骤，具体包括：

所述路边单元节点基于所述状态空间和所述动作空间，选择执行的动作；

其中，所述动作指的是所述路边单元节点从相邻车辆节点学习的最优动作；

统计观察所述路边单元节点的相邻车辆节点的所述动作选择概率，并得到所述动作选择概率的第二归一化结果；

根据所述第二归一化结果，获取所述动作的第二联合估计动作价值收益值；

根据所述第二联合估计动作价值收益值，更新所述路边单元节点的动作价值收益值，作为当前网格的路边单元节点的最优动作价值收益值。

3.根据权利要求1所述的车载自组网络数据包传送方法，其特征在于，所述基于最小角度选择策略，在所述目标安全网格中选取中继节点，通过所述中继节点进行数据包传送的步骤，具体包括：

根据目标安全网格中各个车辆节点的运动矢量和各个车辆节点的目标地理矢量，构建矢量夹角；

其中，所述各个车辆节点的目标地理矢量，是指所述车辆节点到数据包目标节点的地理矢量；

在所述矢量夹角小于预设角度的情况下，将所述矢量夹角最小的车辆节点作为中继节点来传输数据包；

在所述矢量夹角大于或等于预设角度的情况下，将所述目标安全网格中的路边单元节点作为中继节点来传输数据包。

4.根据权利要求1所述的车载自组网络数据包传送方法，其特征在于，所述构建当前网格的状态空间和当前网格的动作空间的步骤，具体包括：

根据车载自组网络的网络节点集合和无线链路集合，构建所述车载自组网络的无向图；

结合曼哈顿模型，按照预设尺寸，将所述无向图划分成大小相同的正方形网格；

根据当前数据包发送节点的位置信息，确定当前网格，并根据所述网络节点集合的位置信息和所述网络节点集合的通信半径信息，构建所述当前网格的状态空间；

根据与所述当前网格相邻的网格，构建所述当前网格的动作空间。