[发明专利]一种基于Q学习的容迟网络随机网络编码方法有效

专利信息
申请号: 202010597538.0 申请日: 2020-06-28
公开(公告)号: CN111770546B 公开(公告)日: 2022-09-16
发明(设计)人: 温卫 申请(专利权)人: 江西理工大学
主分类号: H04W40/04 分类号: H04W40/04;H04W40/22
代理公司: 温州知远专利代理事务所(特殊普通合伙) 33262 代理人: 汤时达
地址: 341000 江*** 国省代码: 江西;36
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 一种 基于 学习 网络 随机 编码 方法
【权利要求书】:

1.一种基于Q学习的容迟网络随机网络编码方法,其特征在于:方法的具体步骤为:

(1)初始化容迟网络中的每个节点与其它节点的相遇概率Pinit,各节点的Q值初始值为0,在源节点中,放在一起进行随机线性网络编码的一批数据包为一个分代,考虑数量为K的一个分代原始数据包这K个数据包的一个线性组合是:

其中是大小为q的有限域,系数α=(α1,…,αK)称为编码向量,产生的线性组合x称为编码包,如果两个或更多的编码包的编码向量是线性独立的,那么就说这些编码包之间是线性独立,如果某节点运送的编码包的集合中最多包含r个线性独立的编码包x1,…,xr,我们就说这个节点的秩是r,并称行向量是r个编码向量的r×K阶矩阵为该节点的编码矩阵,源节点使用Prophet路由协议转发编码包;

(2)中继节点与其它节点每相遇一次,如果能接收到一个线性独立的编码包,该节点编码矩阵的秩就加1,否则,秩不变,直到编码矩阵满秩r=K,秩的状态变化只与当前状态有关,与历史状态无关,可见,该节点收到线性独立的编码包的过程是一个马尔可夫链,当满秩时,到达吸收态,计算该节点能从相遇节点接收到一个线性独立的编码包的概率,此概率为秩状态的一步转移概率;

所述能从相遇节点接收到一个线性独立的编码包的概率计算过程:

两个中继节点(假设为A节点、B节点)相遇时,设A节点已有i个编码包,与B节点相遇,B节点已有j个编码包,i,j∈[1,…,k],A节点和B节点都有相同编码包的概率:

当A节点已有i个编码包,能从B节点接收到一个线性独立的编码包的概率为秩状态sr到sr+1的一步转移概率:

其中,表示有限域大小的设定引起对节点收到线性独立编码包的概率;

(3)中继节点的邻居节点为其通信半径范围内的节点,每个中继节点与其它节点相遇时,选择邻居节点Q值最大者交换编码包,如果邻居节点Q值相同,选择已有更多编码包的节点交换编码包,并更新本节点的Q值;

所述Q值计算:

其中,sr表示节点秩的状态,max Q(sr+1,am)表示记忆里下一个状态sr+1的动作中效用值的最大值;am表示动作,a1表示秩加1,a2表示秩不变;为学习速率,μ为折扣因子,μ∈(0,1),ωi为收益函数:

其中,Pt(A,B)表示相遇概率,下标t表示两节点的相遇次数;

(4)目的节点接收中继节点的编码包,目的节点的秩达到K(即满秩)时,它就可以通过矩阵求逆,解码出K个原始数据包,目的节点采用Prophet路由协议回复应答信息给源节点,通知源节点已收到一分代数据。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于江西理工大学,未经江西理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010597538.0/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top