[发明专利]一种基于Q学习的容迟网络随机网络编码方法

说明书

本发明公开一种基于Q学习的容迟网络随机网络编码方法，主要解决在容迟网络中，Prophet路由算法与随机线性网络编码结合时，两节点相遇概率过大，引起节点不能获得线性独立的编码包，过小的相遇概率,导致两节点不能相遇的矛盾。其实现方案是：对源节点的一个分代进行随机线性网络编码，源节点使用Prophet路由协议转发编码包，当两个中继节点相遇时，计算中继节点从其它节点接收到一个线性独立的编码包的概率，即为节点编码矩阵秩的一步转移概率；然后计算中继节点Q值，在Q函数中，收益函数必须与秩的一步转移概率和节点相遇概率密切相关，并且在秩不变时，让收益函数变为负值；选择邻居节点Q值最大者交换编码包，并更新自身的Q值。本发明保证节点Q值的大小能够反映网络局部的最大编码效益，提高了数据包转发吞吐量和成功率，可用于容迟网络。

技术领域

本发明属于通信技术领域，主要涉及容迟网络随机网络编码和路由方法，可用于车载自组网、野生动物监测传感网和移动社交网的路由决策。

背景技术

容迟网络指在极端环境下，由于节点的移动或者能量调度等原因而导致节点间只能间歇性进行通信，甚至长时间处于中断状态的一类无线自组网，容迟网络区别于传统无线自组网具有以下特点：间歇性连接，由于节点的移动性，节点密度稀疏等原因，使得节点之间的通信链路被频繁割裂，导致网络的拓扑结构不断变化，整个网络的连接状态具有一定的随机性，节点间的连接不可预测，无法保证实时的端到端路由通路；时延极高，数据传输率低，相邻节点在很长时间内无法进行通信，使得消息在每一跳上经历的时延大大增加，同时链路的带宽受限等因素还导致网络呈现数据传输率低的特点。

在容迟网络路由协议的研究中，Prophet路由算法是基于历史预测方法的典型代表，为克服基于复制方法中的消息控制的盲目性而提出的，通过消息历史传输的成功概率进行估算和比较，选择到达目的节点概率更高的中继节点，通过这种有选择性的复制消息，避免生成低效传输的消息副本，提高网络的资源利用率。Prophet路由算法与传染病路由算法相比，具有更高的平均消息传输率和更低的通信负载，平均时延也表现较好。

Prophet路由算法的具体内容：当两节点相遇时，它们将相互交换各自的相遇概率，每个节点存储了到达其它所有节点的相遇概率信息，如相遇概率P(A，B)表明节点A能够发送信息到节点B的概率。具体实现分以下三步:

1)更新相遇的两节点A，B之间的相遇概率(P_init是初始化常数)如(1)式：

P_(A，B)＝P_(A，B)old+(1-P_(A，B)old)×P_init

2)如果一对节点在一段时间内没有相遇，相遇概率将要衰减。衰减的方程如(2)式：

P_(A，B)＝P_(A，B)old×γ^T

其中γ是衰减因子，T表示距离上次更新的时间单元数，如果在T个时间单位内两节点没有相遇，则两节点之间的相遇概率要衰减。时间单元的取值要根据具体的网络情况来设定。

3)利用相遇概率的传递性更新。例如，如果A经常遇到B，B又经常遇到C，则可以这么说，A通过B传递，A能够发送信息到节点C的概率也不会低。具体的传递方程如(3)式:

P_(A，C)＝P_(A，C)old+(1-P_(A，C)old)×P_(A，B)×P_(B，C)×β

其中β是传递系数，反映了传递对于相遇概率的影响大小。进行完以上三步相遇概率更新后，两节点开始进行数据包传送。发送方法如下：设目的节点是D，如果P_(B，D)＞P_(A，D)则节点A将发送数据包到相遇节点B。信息根据发送方法不断转发，直到该数据包到达目的节点D。