[发明专利]一种基于工业无线网络的认知无线电与边缘计算方法

摘要

本发明公开了一种基于工业无线网络的认知无线电与边缘计算方法，该方法首先搭建基于工业无线网络的认知无线电与边缘计算模型架构。其次建立系统模型，包括网络模型、服务模型和计算模型。之后对分布式随机优化表述，包括其系统状态空间、动作空间和奖励和优化目标。最后利用动态随机优化和增广马尔可夫决策过程(MDP)寻找使在线计算复杂度最低的最优分配动作，其中首先计算状态转移概率，其次更新系统奖励，最后重构增广MDP并对其进行联合资源管理。通过实验测试，本方法与现有的方法相比，在不同的频谱到达率和CRECs数量下，本方法都能够获得更高的系统收益，提供更高的吞吐率，并且降低了系统传输延迟。

主权项

一种基于工业无线网络的认知无线电与边缘计算方法，其特征在于：本方法包含如下步骤：1)搭建基于工业无线网络的认知无线电与边缘计算模型架构：采用的模型架构为三层，由下至上分别是感知层、网络层和控制层，在感知层中，工业传感器和监控器对工业环境进行参数测量；之后通过有线或无线连接技术将测量的数据上传至网络层，其中网络层的实体为具有边缘计算能力的无线认知路由器(CRECs)；CRECs建立了一条到汇聚节点的逐跳传输的信息采集路径；由于是在工业环境下，因此假定CRECs的位置是固定的，且网络层中具有唯一的信息汇聚节点，以便确定静态的网络拓扑结构和路由路径；控制层负责对网络进行全局控制并处理传感数据；无线广域网(WAN)基站用于采集网络信息并将控制命令广播至所有的网络设备中，云服务器用于分析存储由汇聚节点上传的工业数据并做出相应的网络控制决策；在工业环境下，故障信息的关键数据具有非常敏感的传输延时特性需要进行实时响应，因此携带此类紧急数据的数据包需要立即处理；因此利用部署在靠近传感器端具有边缘计算能力的CRECs产生即时命令来响应紧急数据；在实时处理后可以将大量的机器状态信息上传至云服务器，同其他延迟容忍度高的工业数据一起进行后续分析；此外CRECs还可以对有数据预处理需求的数据包进行处理；CRECs还具有认知无线电功能，能够采集主网络的空闲频带；当采集频带用于工业网络时，该功能便可将采集频带分配给最合适的两个直连CRECs进行连接；除采集频带外，CEIN还拥有其本身可用于传输延时敏感数据的频带；2)建立系统模型：2.1)网络和服务模型假设在CEIN中部署N个CRECs，其中N∈Z+；CRECs的位置固定，其中无线通信连接基于采集频带建立；λ表示新采集频带的到达率，分布服从泊松过程；t与t+1表示采集频段可用时，两个相邻的时间间隙；CRECs互相合作感知频带空位；在t与t+1时刻，CRECs通过WAN基站向云服务器汇报各自的当前状态，并根据云服务器下达的资源配置命令使用分配的带宽；网络拓扑固定后，每个CRECs的节点n都拥有其固定的下跳CRECs节点n′，这里假设每个n都了解其后跳n′的计算能力；传感器和监控器采集机器的状态信息后通过CRECs将其上传进行分析和决策；由于以上两种工业数据都存在数据异构性的特点，这就导致工业数据包拥有着不同的延时敏感性，同时也需要不同的计算资源进行数据预处理工作；使dh和dl分别代表每单位时间内的延时敏感包和延时容忍包的延时消耗，由两者的定义可知，dh＞dl；2.2)计算模型CEIN架构中CRECs的计算能力，能同时满足紧急事件的实时响应和延迟容忍数据在传输过程中的处理；使ξn(t)∈Ξ表示n在时间间隙t中每单位时间的计算能力，这里Ξ是ξn(t)的可用值的集合，ξn(t)为当前剩余的计算资源；接下来，使用ξ′n(t)表示n后跳的n′中的每单位时间的计算能力；在CEINs中的数据包有时会有数据预处理的需求，因此用ξ″n(t)表示在t时刻n中第一个数据包的计算需求；3)对分布式随机优化表述：3.1)系统状态空间系统状态需要包含关键信息以供控制器对系统进行全局优化，并做出合理的带宽分配决策；在这里指示器un(t)表示在时间间隙t中，，是否有新的可用采集频带用来传输n与n′的数据包；因此，使dn(t)∈{dh,dl}表示在t时刻n队列中的第一个数据包的延时消耗，bn(t)∈B和b′n(t)∈B分别表示执行n与n′的计算任务时的时间消耗；B表示bn(t)和b′n(t)的可用集合，因此bn(t)=ξn′′(t)ξn(t),b′n(t)=ξn′′(t)ξ′n(t)]]>t时刻n的系统状态被表示为五个子状态的元组Sn(t)，Sn(t)=<un(t),dn(t),ξn′′(t),bn(t),b′n(t)>2×2×Ξ×B×B=<un(t),dn(t),ξn′′(t),bn(t),b′n(t)>4ΞB2]]>这里S表示状态空间，则S＝|S|＝4ΞB2；3.2)动作空间在有可用频带的时刻t，控制器做出频带分配的决策；使a(t)∈{1,2,…,N}表示控制器在t时刻的动作，A表示可用动作集，即动作空间；控制器的动作等同于CRECs的动作，即且其求和为1；3.3)奖励和优化目标在可用频带分配完成后，系统会采集一个实时的奖励值定义为t时刻做出动作a后n的即时奖励，rna(t)=an(t)un(t){Uξn(t)[bn(t)-bn′(t)]-dn(t)τ},]]>这里U表示云计算的计算消耗，τ表示两个相邻决策时刻的平均间隔时间；因此长期的总奖励函数Ra表示为Ra=∫0TβT-t~Σn=1Nrna(t~)dt~=Σt~βT-t~Σn=1Nrna(t~),]]>这里β为折扣因子，T是总时间长度，表示网络运行的持续时间；总体目标就是找出最优的动作a*使奖励函数最大化，也就是an*(t)=argmaxRa]]>4)利用动态随机优化和增广马尔可夫决策过程(MDP)寻找使在线计算复杂度最低的最优分配动作：4.1)计算状态转移概率根据定义的系统状态，系统的一步状态转移概率被定义为P(un(t+1),dn(t+1),ξ″n(t+1),bn(t+1),b′n(t+1)|an(t),un(t),dn(t),ξ″n(t),bn(t),b′n(t))＝Pa(un,dn,ξ″n,bn,b′n)＝P(un(t+1)|un(t))P(dn(t+1)|dn(t))P(bn(t+1),P(bn(t+1),b′n(t+1)|an(t),ξ″n(t),bn(t),b′n(t))P(ξ″n(t+1)|ξ″n(t))＝P(un)P(dn)P(ξ″n)Pa(bn,b′n|ξ″n,bn,b′n)使用Pa(x)和P(x)分别表示P(x(t+1)|an(t))和P(x(t+1)|x(t))；此外，使用Pa＝[Pa(s(t+1)|s(t))]表示在动作a(t)下系统状态s(t)的一步转移概率矩阵；但是直接得到Pa(bn,b′n|ξ″n,bn,b′n)的值十分困难，因此将计算模型简化，即将CRECs的计算资源虚拟化并分为多段，每一段都拥有同样的计算能力；使用e′n(t)表示是否有空闲且可用的计算资源；考虑到CRECs中的每段可能计算能力不同，因此使∈n和∈′n表示n和n′各自的计算能力；之后系统状态可重写为Sn(t)＝＜un(t),dn(t),ξ″n(t),e′n(t),∈′n(t)＞8ΞE，这里E表示∈n(t)和∈′n(t)的集合大小；进一步，假设网络中的数据只流向一个汇聚节点，CRECs中的每一个n′都与固定的n匹配，因此∈′n为常量，忽略∈′n后系统状态为Sn(t)＝＜un(t),dn(t),ξ″n(t),e′n(t)＞8Ξ状态转移概率简化为Pa(un,dn,ξ″n,e′n,∈′n)＝P(un)P(dn)P(ξ″n)Pa(e′n|ξ″n)其中P(un)、P(dn)和P(ξ″n)通过对状态转移的长期观测得到，Pa(e′n|ξ″n被写为P0被定义为在t到t+1期间至少完成一次计算任务的概率，P1为得到计算任务ξ″n(t)后的概率，即：P0=1-Πm=1Mn′Σk=1KP(ξn′′(k))P(ξn′′(k)ξn′(t)>τ)]]>=1-Πm=1Mn′Σk=1KP(ξn′′(k))(1-e-λξn′′(k)ξn′(t)),]]>P1=P2+P(ξn′′(k)ξn′(t)<τ)=P2+e-λξn′′(k)ξn′(t),]]>这里M′n表示CPU在n′的数量，P2表示n′中有超过一个空闲CPU的概率，λ表示频带到达率；4.2)更新系统奖励由于系统状态的改变，t时刻的即时奖励更新为rna(t)=an(t*)un(t)×[Ug((∈n′-∈n)τ,ξn′′(t*))-dn(t)τ],]]>这里g(x,y)定义为g(x,y)＝sgn(x)min[x,y]4.3)重构增广MDP为了导出每个决策时间的最优动作，一步状态转移概率需是常数；在本发明中，P(dn)是唯一浮动的概率；因此，问题就变为解决该动态参数的问题；使P(dn)表示P(dn)的转移概率矩阵，即不同的Pd,1和Pd,2值被认为是本方法中的不同模式，这些模式拥有独特的动态环境和不同的控制策略，当给出最优频谱分配决策时需要学习其真实值；假设模式的转换概率矩阵为PD=PD(1,1)PD(1,2)PD(2,1)PD(2,2)]]>先前的动态MDP可被转换成为POMDP，使用元组<S′,,A′,P′,R′,O′,Q′>表示POMDP的状态空间，动作空间，状态转移概率矩阵，奖励函数，观察空间和观察概率矩阵；使D表示模式空间；S′,A′,P′,R′,O′和Q′的增广空间可被如下导出S′＝S×D,A′＝A,P′=[PS′a(i,j)]=PD(1,1)PaPD(1,2)PaPD(2,1)PaPD(2,2)Pa,]]>R′＝R,O′＝S,Q′=[P(o(t)=o·j|s(t)=s·i)]=ISIS,]]>这里是在观察状态下实际状态的概率；通过如上转换，该问题现在变为多进程且每时隙只有一个动作的多臂老虎机问题；每个CRECs的指标可通过原始对偶算法计算出；4.4)资源管理过程在CEIN的初始化过程中，首先为所有的可能状态计算指标并在CRECs的本地进行存储；之后，当新的采集频带可用时，CRECs查找指标表根据当前状态寻找当前指标，并通过WAN基站向云服务器报告相应的指标；接下来选择指标最小的CRECs使用该采集频带。