[发明专利]无线传感器网络的资源管理方法和装置

权利要求书

1.一种无线传感器网络的资源管理方法，其特征在于，包括：

将无线传感器网络中的每一个传感器节点作为一个智能体；

为无线传感器网络设置网络参数，所述网络参数至少包括：环境状态、行动列表和奖励函数；

基于所述网络参数进行多智能体的迭代交互，确定最优策略；

根据所述最优策略对无线传感器网络中的传感器节点进行资源分配和任务调度。

2.根据权利要求1所述的方法，其特征在于，所述环境状态包括：电池电量和/或频谱可用性；所述行动列表包括：接收或发送指定的包，和/或执行指定的任务；所述奖励函数包括：内部奖励和/或外部奖励。

3.根据权利要求2所述的方法，其特征在于，所述内部奖励是基于内部变量定义的奖励函数，所述外部奖励是根据中央控制器或其他节点的反馈定义的奖励函数；

其中，每个传感器节点均有对应的奖励函数；所述其他节点为无线传感器网络中除自身以外的其他传感器节点。

4.根据权利要求1-3任一项所述的方法，其特征在于，所述将无线传感器网络中的每一个传感器节点作为一个智能体，包括：

对无线传感器网络进行建模，令作为智能体的集合；其中为无线传感器网络中传感器节点的数量；

令表示状态空间；其中，是共享状态空间，是智能体的局部状态空间，；

令表示行动空间，其中为第个智能体的行动空间。

5.根据权利要求4所述的方法，其特征在于，所述奖励函数为：；

其中，为智能体所获得的奖励；。

6.根据权利要求5所述的方法，其特征在于，所述进行多智能体的迭代交互，包括：

定义动作值函数和价值函数；

通过多智能体的迭代交互，收敛到最优的动作值函数；

根据最优的动作值函数确定最优策略。

7.根据权利要求6所述的方法，其特征在于，所述动作值函数为：

；

所述价值函数为：

；

其中，表示从状态开始并从行动空间中选取动作进入下一个状态时，智能体所获得的奖励；为折扣因子，取值范围是0≤γ≤1。

8.根据权利要求7所述的方法，其特征在于，所述多智能体的迭代交互的步骤包括：

；

其中，表示学习率。

9.根据权利要求8所述的方法，其特征在于，所述根据最优的动作值函数确定最优策略，包括：；

其中，表示在状态时从行动空间中选取动作为最优策略。

10.一种无线传感器网络的资源管理装置，其特征在于，包括：

设置模块，用于将无线传感器网络中的每一个传感器节点作为一个智能体，并为无线传感器网络设置网络参数；所述网络参数至少包括：环境状态、行动列表和奖励函数；

迭代模块，用于基于所述网络参数进行多智能体的迭代交互，确定最优策略；

管理模块，用于根据所述最优策略对无线传感器网络中的传感器节点进行资源分配和任务调度。