[发明专利]一种跨域系统的协同路由方法及装置

权利要求书

1.一种跨域系统的协同路由方法，其特征在于，所述方法包括：

获取若干相互连接的跨域自治系统中每个自治系统的网络状态综合参数，将所述网络状态综合参数存储在每个自治系统中；

在每个自治系统中搭建智能体，所述智能体与每个自治系统相互连接；

第i自治系统的用户向第j自治系统发起服务请求，位于第i自治系统中的第i智能体和位于第j自治系统中的第j智能体，根据所述网络状态综合参数与所述服务请求，通过多智能体强化学习算法生成协同路由策略；其中，i和j为大于0的自然数；

第j自治系统根据所述协同路由策略向所述第i自治系统的用户返回所述服务请求的响应结果。

2.根据权利要求1所述的方法，其特征在于，所述生成协同路由策略包括：

第i智能体获取第i自治系统发起的服务请求，生成服务标识；

所述第i智能体基于所述网络状态综合参数，生成单个域内路由策略；

根据所述单个域内路由策略，所述第i智能体将所述服务请求和所述服务标识发送至所述第j智能体，由第j智能体根据所述服务标识获取所述服务请求，将所述服务请求发送至第j自治系统。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

所述请求从所述第i智能体发送到所述第j智能体中间要经过n个智能体；

其中，所述n个智能体中的第m个智能体获取第m-1个智能体发送的请求，第m个智能体根据网络状态生成单个域内路由策略，根据所述单个域内路由策略将所述请求发送给下一个智能体，其中，n和m为大于0的自然数且m不大于n。

4.根据权利要求1所述的方法，其特征在于，所述多智能体强化学习算法包括：

将所述网络状态综合参数输入所述多智能体强化学习算法，初始化多智能体强化学习算法模型；其中，所述学习算法采用演员-评论员算法模型；

从所述网络状态综合参数中获取网络状态，初始化演员和评论员的参数；

多个智能体分别进行采样，多个智能体中的单个智能体根据采样结果执行单个路由决策并获取所述单个智能体的奖励信息，同时获取下一个网络状态；其中，所述奖励信息是跨域环境根据由多个智能体中每个智能体的路由决策组成的协同路由策略得到的奖励值；

计算智能体的网络误差，更新网络参数；

对更新后的网络参数重新进行演员-评论员计算，直到所述奖励值出现收敛，结束学习过程。

5.根据权利要求4所述的方法，其特征在于，所述计算智能体的网络误差，更新网络参数根据如下公式进行：

φ_i”＝λφ_i+(1-λ)φ_i'

式中，i表征第i个智能体，φ表征上一次路由决策的演员参数，φ'表征本次路由决策的演员参数，φ”表征即将得到的路由决策的演员参数，表征上一次路由决策的评论员参数，表征本次路由决策的评论员参数，表征即将得到的路由决策的评论员参数，λ表征试探参数。

6.一种跨域系统的协同路由装置，其特征在于，所述装置包括：

获取模块，用于获取若干相互连接的跨域自治系统中每个自治系统的网络状态综合参数，将所述网络状态综合参数存储在每个自治系统中；

建立模块，用于在每个自治系统中搭建智能体，所述智能体与每个自治系统相互连接；

请求模块，用于第i自治系统的用户向第j自治系统发起服务请求，位于第i自治系统中的第i智能体和位于第j自治系统中的第j智能体，根据所述网络状态综合参数与所述服务请求，通过多智能体强化学习算法生成协同路由策略；其中，i和j为大于0的自然数；

响应模块，用于第j自治系统根据所述协同路由策略向所述第i自治系统的用户返回所述服务请求的响应结果。