[发明专利]一种基于Q学习的容迟网络随机网络编码方法有效
申请号: | 202010597538.0 | 申请日: | 2020-06-28 |
公开(公告)号: | CN111770546B | 公开(公告)日: | 2022-09-16 |
发明(设计)人: | 温卫 | 申请(专利权)人: | 江西理工大学 |
主分类号: | H04W40/04 | 分类号: | H04W40/04;H04W40/22 |
代理公司: | 温州知远专利代理事务所(特殊普通合伙) 33262 | 代理人: | 汤时达 |
地址: | 341000 江*** | 国省代码: | 江西;36 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 学习 网络 随机 编码 方法 | ||
1.一种基于Q学习的容迟网络随机网络编码方法,其特征在于:方法的具体步骤为:
(1)初始化容迟网络中的每个节点与其它节点的相遇概率Pinit,各节点的Q值初始值为0,在源节点中,放在一起进行随机线性网络编码的一批数据包为一个分代,考虑数量为K的一个分代原始数据包这K个数据包的一个线性组合是:
其中是大小为q的有限域,系数α=(α1,…,αK)称为编码向量,产生的线性组合x称为编码包,如果两个或更多的编码包的编码向量是线性独立的,那么就说这些编码包之间是线性独立,如果某节点运送的编码包的集合中最多包含r个线性独立的编码包x1,…,xr,我们就说这个节点的秩是r,并称行向量是r个编码向量的r×K阶矩阵为该节点的编码矩阵,源节点使用Prophet路由协议转发编码包;
(2)中继节点与其它节点每相遇一次,如果能接收到一个线性独立的编码包,该节点编码矩阵的秩就加1,否则,秩不变,直到编码矩阵满秩r=K,秩的状态变化只与当前状态有关,与历史状态无关,可见,该节点收到线性独立的编码包的过程是一个马尔可夫链,当满秩时,到达吸收态,计算该节点能从相遇节点接收到一个线性独立的编码包的概率,此概率为秩状态的一步转移概率;
所述能从相遇节点接收到一个线性独立的编码包的概率计算过程:
两个中继节点(假设为A节点、B节点)相遇时,设A节点已有i个编码包,与B节点相遇,B节点已有j个编码包,i,j∈[1,…,k],A节点和B节点都有相同编码包的概率:
当A节点已有i个编码包,能从B节点接收到一个线性独立的编码包的概率为秩状态sr到sr+1的一步转移概率:
其中,表示有限域大小的设定引起对节点收到线性独立编码包的概率;
(3)中继节点的邻居节点为其通信半径范围内的节点,每个中继节点与其它节点相遇时,选择邻居节点Q值最大者交换编码包,如果邻居节点Q值相同,选择已有更多编码包的节点交换编码包,并更新本节点的Q值;
所述Q值计算:
其中,sr表示节点秩的状态,max Q(sr+1,am)表示记忆里下一个状态sr+1的动作中效用值的最大值;am表示动作,a1表示秩加1,a2表示秩不变;为学习速率,μ为折扣因子,μ∈(0,1),ωi为收益函数:
其中,Pt(A,B)表示相遇概率,下标t表示两节点的相遇次数;
(4)目的节点接收中继节点的编码包,目的节点的秩达到K(即满秩)时,它就可以通过矩阵求逆,解码出K个原始数据包,目的节点采用Prophet路由协议回复应答信息给源节点,通知源节点已收到一分代数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于江西理工大学,未经江西理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010597538.0/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种活体检测方法、装置、系统及存储介质
- 下一篇:新型块体防波挡沙堤