[发明专利]一种基于马尔科夫决策过程的移动数据分流方法

权利要求书

1.一种基于马尔科夫决策过程的移动数据分流方法，包括以下步骤(1)移动数据分流的马尔科夫模型；(2)一种动态优化决策算法；(3)一种低时间复杂度的启发式分流算法，其特征在于：

步骤(1)移动数据分流的马尔科夫模型：

移动用户使用手机应用进行数据下载时，由于时间限制，当发生网络阻塞问题，为提升用户体验，用户将进行数据分流用以解决上述问题，会自主性选择网络，考虑到手机能量消耗以及网络成本；对此，进行基于移动数据分流的马尔可夫决策的建模；

(1.1)模型环境：

为便于建模，步骤(1.1)对模型的使用环境进行相关介绍：

1)MUs从远程服务器下载M个文件，并且每个文件形成数据流(Flow)，则对应的数据流集定义为同时每个Flow都有相应的时间限制其中T＝(T1,T2,...,TM)表示为对于MU的M个文件的时间限制向量集，为便于建模，认为T1≤T2≤...TM并定义时间系统

2)为便于分析，限制MU只能在L可能性的位置移动，对应的位置集当蜂窝网络在上述位置集中出现的概率相等，而无线局域网出现的概率依赖于其位置

(1.2)马尔科夫决策模型的建立：

当用户下载文件，发生网络阻塞时，用户将根据网络使用成本、能量消耗以及剩余时间进行网络选择，从而完成数据传输；

(1.2.1)系统状态st

st＝{lt，bt}

其中表示通过GPS获取的MUs在t时的位置指数，表示位置集；为M个文件在t时的文件下载剩余量的向量集，并且而Bj表示第j个数据流的总的文件下载剩余量，因此则表示对应的剩余数据的向量集；

(1.2.2)用户动作：

用户动作at表示t时决定在处于无线局域网覆盖时，是否使用，或者使用蜂窝网络，或者继续等待空闲以及如何对M数据流进行网络数据率的分配，其定义如下：

at＝(at，c，at，ω)

1)其中，表示分配蜂窝网络的数据率的向量集，表示对于第j个数据使用蜂窝网络的分配数据率；则表示分配的无线局域网的数据率，而表示对于第j个数据使用无线局域网的分配的数据率；符号c和ω分别表示蜂窝网络和无线局域网；如果用户不在无线局域网覆盖的范围内时，可能为0；

2)所有数据流使用蜂窝网络和无线局域网的总的数据率分别定义

且at，c和at，ω需要满足以下条件：

a t , c = γ c l a t , ω = γ ω l ]]>

其中，和分别表示在位置l时蜂窝网络和无线局域网的最大数据率；

3)在t时有以下因素影响用户的决策

a)网络成本即用户使用网络服务的成本：网络服务以基于使用量的价格计算模式，并且定义移动网络操作的价格为pc，且认为无线局域网免费使用，则网络成本ct(st，at)的定义如下：

b)能量消耗：通过使用无线局域网或蜂窝网络传输数据产生的能量消耗，其定义为：

其中，表示在位置l处使用蜂窝网络的能量消耗率，表示在位置l处使用无线局域网的能量消耗率，且两者都随输出为变小，即传输同等的数据量，低传输速度消耗更多的能量；θt表示MU在t时关注能量消耗的权重，θt值越小，表明MU对于能量消耗的关注度越小；

c)惩罚因子：如果数据传输没能在时间限制内完成，对于MU的惩罚因子其定义如下：

c ^ T j + 1 ( s T j + 1 ) = c ^ T j + 1 ( l T j + 1 , b T j + 1 ) = g ( b T j + 1 ) ]]>

上式中函数g(·)具有非负非减的特性，Tj+1表示在时间限制Tj之后计算惩罚因子；

(1.2.3)状态转移概率：

Pr(st+1|st，at)

上式表明如果在状态st时进行选择动作at后，状态st+1的概率，为便于分析，假定数据传输的剩余量和位置改变相互独立，故

Pr ( s t + 1 | s t , a t ) = Pr ( ( l t + 1 , b t + 1 ) | ( l t , b t ) , a t ) = p l t + 1 , l t Pr ( b t + 1 | ( l t , b t ) , a t ) ]]>

其中

Pr ( b t + 1 | ( l t , b t ) , a t ) = 1 i f b t + 1 = [ b t - a t , c - a t , ω ] + 0 o t h e r w i s e ]]>

上式中[x]+＝max{x，0}且认为用户从位置lt到位置lt+1的概率已知；

(1.2.4)策略π

上式中函数φt(lt，bt)将状态st＝(lt，bt)映射到在t时的动作决策，策略π的集合定义为Π；如果策略π被选中，则状态表示为

(1.3)用户目标函数

其目的是最小化从时间t＝1到t＝TM的总成本，包括网络成本和能量消耗，且在t＝TM+1时的惩罚因子具有最优的策略π*，如下式所示：

上式中rt(st，at)表示网络成本和能量消耗的总和，其计算公式如下：

rt(st，at)＝ct(st，at)+ζt(st，at)

步骤(2)一种动态优化决策算法：

通过步骤(1)建立用户选择网络和数据分配的MDP模型，其目的是为了通过做出相应的动作从而降低用户成本，为此，步骤(2)采用一种动态方法解决MDP问题。

2.如权利要求1所述的一种基于马尔科夫决策过程的移动数据分流方法，其特征在于：所述步骤(2)进一步包括：

(2.1)MDP问题的最优化函数：

定义vt(st)为用户在状态st处从t到TM+1的总成本的最小期望值，如下式所示：

基于上式，采用一种动态方法解决MDP问题；

(2.2)一种动态解决MDP问题的方法，其过程如下：

(2.2.1)最优策略计算阶段：

(2.2.2)通过等式7,建立用户在位置l,下载剩余量b时，时间TM+1的总成本最小期望值l属于位置集合

(2.2.3)定义时间TM等于t；

(2.2.4)当t大于等于1时

(2.2.5)对于在时间t位置属于集合的lt；

(2.2.6)定义时间t下载剩余量集合的向量集bt等于0；

(2.2.7)对于时间t属于下载剩余量集合的向量集bt；

(2.2.8)用公式14计算时间t时状态st，分配的蜂窝网络的数据率at时，总成本的期望值Qt(st，at)；

(2.2.9)定义时间t时最小总成本期望值的变量值为

(2.2.10)定义时间t时最小总成本期望值vt(l，b)等于变量值与Qt的期望；

(2.2.11)定义M个文件在时间t时下载剩余量的向量集bt等于bt加上σ；

(2.2.12)结束循环；

(2.2.13)结束循环；

(2.2.14)定义时间t等于t-1；

(2.2.15)结束循环；

(2.2.16)最佳策略π*是为了接下来的分流数据传输策略生成的；

(2.2.17)；

(2.2.18)分流数据传输策略；

(2.2.19)定义时间t＝1，下载剩余量b等于文件下载剩余量集合

(2.2.20)当时间t小于等于时间TM并且bt大于0；

(2.2.21)lt由GPS确定；

(2.2.22)根据最佳策略π*，定义用户动作

(2.2.23)定义bt＝[bt-at，c-at，ω]+；

(2.2.24)结束循环；

(2.2.25)定义t＝t+1；

(2.2.26)结束循环；

步骤(3)一种低时间复杂度的启发式分流算法：

步骤(2)成功实现了降低用户成本的功能；但是，其算法的时间复杂度很高；因此，步骤(2)仅作为最佳分流策略的离线算法；

针对上述问题，提出一种新的算法，实现两个目标：1.低时间复杂度；2.实时性计算；具体步骤：

(3.1.1)在时间间隙t；

(3.1.2)输入：截止时间矢量集合T，截止时间阈值通过GPS获取的Mus在t时的位置指数lt，M个文件在时间t时下载剩余量的向量集bt；

(3.1.3)对于属于集合T的矢量Tj；

(3.1.4)如果t<Tj；

(3.1.5)将Tj-t添加到截止时间保留表R；

(3.1.6)定义权重等于

(3.1.7)否则；

(3.1.8)定义权重等于0；

(3.1.9)将权重添加到分配率权重列表Wt；

(3.1.10)结束循环；

(3.1.11)结束循环；

(3.1.12)标准化Wt到

(3.1.13)标准化bt到

(3.1.14)如果在位置l无线LAN网接入点可用而且速率比γth高，γth是由MUs的能量偏好定义的参数；

(3.1.15)根据分配无线LAN网数据接入率到每一个流；

(3.1.16)无线LAN网数据接入率at，w确定；

(3.1.17)如果R的最小值小于

(3.1.18)根据分配蜂窝网数据率到每一个流；

(3.1.19)蜂窝网数据接入率at，c确定；

(3.1.20)结束循环；

(3.1.21)根据at，c和at，w输出分配的蜂窝网络的数据率at；

从上述算法的结果可以看出，时间复杂度远远低于算法1；并且，算法2可以作为在线算法实现实时计算。