[发明专利]基于强化学习的自主联合无线资源管理系统和方法

权利要求书

1.一种基于强化学习的自主联合无线资源管理系统，所述系统包括：

可重配置移动终端，用于发起多种不同业务类型的会话请求；

通过无线网络与所述可重配置移动终端连接的本地无线资源管理器，用于接收从所述可重配置移动终端发送的会话请求，管理无线接入网络内部的无线资源分配；

通过所述网络与所述本地无线资源管理器连接的无线重配置支持功能模块，用于接收由所述本地无线资源管理器提供的对应无线接入网络的资源管理信息，收集所述本地无线资源管理器所提供的对应无线接入网络的资源管理信息，根据各种网络性能参数指标采用强化学习方法进行“试错”交互，依照相应的判定准则，决定是否立即接纳新会话，并在接纳时，决定接入到哪一个无线接入网络中并分配相应的业务带宽；

通过所述网络与所述无线重配置支持功能模块连接的重配置管理器，位于公共的核心网域或者可信的第三方域，用于接收从无线重配置支持功能模块上报的联合无线资源管理决策信息，并且向所述无线重配置支持功能模块发送运营商的管理策略信息。

2.根据权利要求1所述的基于强化学习的自主联合无线资源管理系统，还包括：参数初始化模块，训练队列模块、神经网络模块、动作选择模块、以及参数更新模块，

其中所述参数初始化模块与所述训练队列模块、所述神经网络模块和无线网络环境连接，用于对强化学习方法中所有需要被初始化的参数进行初始化，构造出当前网络状态，并将结果转换为一维参数向量发送给神经网络模块，同时缓存在所述训练队列模块中；

所述训练队列模块与所述神经网络模块和所述参数更新模块连接，用于缓存输入的网络状态向量和更新后网络收益向量，作为神经网络训练的输入和目标输出，当训练队列模块装满后将网络状态向量和网络收益向量以批处理方式送入神经网络模块，完成对神经网络内权值和偏置的后向传播训练；

所述神经网络模块与所述参数更新模块和所述动作选择模块连接，用于运算由所述参数初始化模块发送来的一维参数向量，在输出层得到当前网络状态下所有可能动作所对应的网络收益，并组成网络收益向量，发送到所述动作选择模块和所述参数更新模块；

所述动作选择模块与所述参数更新模块和所述无线网络环境连接，用于根据输入的网络收益向量，采用一定的探索方法，从动作集合中选择一个动作并执行，被执行的动作被记录于所述参数更新模块；

所述参数更新模块与所述无线网络环境连接，用于参数更新和网络收益向量的更新，并将更新后的网络收益向量送入所述训练队列模块中。

3.根据权利要求1所述的基于强化学习的自主联合无线资源管理系统，其中所述动作选择模块输出的动作信息传递给无线环境模块，同时所述参数更新模块需要获得由无线环境模块提供的更新信息，并且所述参数初始化模块需要根据无线环境模块提供的网络状态信息进行初始化过程。

4.根据权利要求1所述的基于强化学习的自主联合无线资源管理系统，其中所述系统内存在的无线接入网络属于同一运营商，并且所述无线接入网络的覆盖范围、业务能力、小区容量各不相同。

5.根据权利要求1所述的基于强化学习的自主联合无线资源管理系统，其中所述系统利用分布式控制和集中式控制两种方式进行控制，在所述分布式控制方式中，每个无线接入技术的本地无线资源管理器都与对应的一个无线重配置支持功能模块连接；在所述集中式控制中，所有无线接入技术的本地无线资源管理器都与一个公共的无线重配置支持功能模块连接。

6.根据权利要求1所述的基于强化学习的自主联合无线资源管理系统，其中所述可重配置移动终端接入网络时，自动完成软件安装与网络设置。

7.根据权利要求1所述的基于强化学习的自主联合无线资源管理系统，其中所述可重配置移动终端为具有重配置功能和移动通信功能的个人掌上电脑、移动计算机或手机。