[发明专利]一种基于线性规划和强化学习的P2P视频点播节点选择方法

权利要求书

1.一种基于线性规划和强化学习的P2P视频点播节点选择方法，其特征在于，该方法分为两层来实现：

S1，通过线性规划在第一层媒体服务器中进行节点选择

S1.1，在第一层节点选择中，媒体服务器会运用心跳机制定期从P2P中收集节点信息；

S1.2，每当节点第一次请求资源的时候，媒体服务器会采用线性规划的方法规划一组拥有资源的资源节点集合给此节点，8s内任何请求资源的节点只能从资源节点集合中请求，如果8s后再来一次资源请求，则重新规划资源节点集合；

S1.3，若找到了请求资源，则节点和拥有该资源的节点相连接；如果没有找到请求资源，则进入第二层节点选择；

S2，通过强化学习在第二层对等网络中进行节点选择

S2.1，在第二层节点选择中，请求资源的节点在其邻居节点之间进行Q查询；

S2.2，Q查询考虑了节点的剩余上行带宽、资源的个数以及节点的拥塞状态等参数，在P2P局部范围内引导对资源节点的搜索。

2.如权利要求1所述的一种基于线性规划和强化学习的P2P视频点播节点选择方法，其特征在于，所述线性规划方法为：

其中，λ_sj是一个指示变量，节点的下载速率定义为r_sj，j是网络中正在观看的第j组资源，当前网络中总观看的视频资源数为M；XR为带宽的大小，且系数X的值随网络情况变化；U_s是节点的最大上行带宽，W表示最大资源连接数，N是节点总数，s＝1，...，N；

意味着对于每一个资源观看请求，一定时间内服务器会规划XR大小的带宽，意味着对于节点而言，其提供的上行带宽必须小于等于其最大上行带宽U_s；约束意味着在每个视频会话中，所选择的节点数量不应该超过最大资源连接数W。

3.如权利要求1所述的一种基于线性规划和强化学习的P2P视频点播节点选择方法，其特征在于，所述Q查询的间隔时间为1s，Q查询搜索资源节点的TTL的跳数设为8。

4.如权利要求3所述的一种基于线性规划和强化学习的P2P视频点播节点选择方法，其特征在于，Q查询的具体方法为：当不满足播放，则需1s的间隔才能再次请求Q查询；如果找到了请求资源，那么节点和Q查询找到的节点相连接。

5.如权利要求1所述的一种基于线性规划和强化学习的P2P视频点播节点选择方法，其特征在于，所述Q查询的模型为其中Q(s,a)是一个动作值函数，s是当前状态，a是当前节点在状态s下采取的动作；α为设置在0到1之间的学习速率，β为折扣因子，sgn为指标函数，U_s是节点的最大上行带宽，是可用的上行带宽。

6.如权利要求5所述的一种基于线性规划和强化学习的P2P视频点播节点选择方法，其特征在于，所述指标函数当节点处于正常状态时，此函数给出正号，意味着节点没有拥塞；当节点过载时，此函数为负号。

7.如权利要求1所述的一种基于线性规划和强化学习的P2P视频点播节点选择方法，其特征在于，所述S1.1中收集的信息为：其中ID_s是节点的识别，VR_s是节点拥有的资源，U_s是节点的最大上行带宽，是可用的上行带宽，T_s是将此信息列表发送到媒体服务器所需的时间。