[发明专利]一种基于深度Q学习的测控资源调度方法

权利要求书

1.一种基于深度Q学习的测控资源调度方法，其特征在于：该方法包括以下步骤：

S1：对复杂测控场景的描述；

S2：测控调度性能评价指标设计；

S3：测控资源调度方案形成；

S4：DQN算法在测控资源调度方案生成中的应用；

S5：基于DQN的测控资源调度方法实施；

所述步骤S1具体为：

(1)测控场景中实体的描述

从天地一体化测控系统的测控资源的角度出发，对测控场景中的要素进行基于可见时间窗口的描述；

天地一体化测控资源描述为：

RESOURCE＝{S,TYPE,TS,D_S,L,L_MAX}

其中，S为天地一体化测控资源的集合，在其中对多类多个测控资源进行统一化编号，S＝{s₁，s₂,...s_j,...s_M}；j为测控资源的编号，M为所有测控资源的总的数量；

TYPE表征测控资源的种类，TYPE为1则该测控资源为天基测控资源，TYPE为0则该资源为地基测控资源；

TS表征对于每个测控资源的空闲时间窗口，即当前可用于测控的时间窗口；

TS＝{TS₁，TS₂，...TS_j，...TS_M}

＝{[t_b1(s₁),t_e1(s₁)],[t_b2(s₁),t_e2(s₁)],...,[t_b1(s₂),t_e1(s₂)],[t_b2(s₂),t_e2(s₂)].....,....[t_b1(s_M),t_e1(s_M)]}

TS_j表征第j个测控资源的所有可用时间窗口，即空闲时间窗口，t_b1(s_j)与t_e1(s_j)，分别表示第j个测控资源的第1个可见时间窗口的起始时间与终止时间，可见窗口的次序按照时间顺序标记，以此类推；

D_S表征测控资源每个空闲时间窗口的长度

表征第j个测控资源的第k个空闲时间窗口的长度；

LS_j表示所有的中低轨卫星对于单个测控资源的占用表示测控任务i对于单个测控资源j的负载占用情况，其中i表征测控任务的次序，n为测控任务的总数目；

L表征所有中低轨卫星对于天地一体化测控资源的占用；具体如下：

L_Sj表示所有的测控任务对于单个测控资源j的负载占用情况；

L_MAX＝{L_MAX1，L_MAX2，...L_MAXj,...L_MAXM}

L_MAXj表示测控资源j最多可以接收的测控任务负载，即测控资源的最大负载；

从测控任务的角度出发，对测控场景中的要素进行基于可见时间窗口的描述；测控任务描述为：

其中，T为所有测控任务的编号集合，T＝{T₁，T₂，...T_i...T_n}；

T_i表示测控任务的编号；在这个公式以及以下公式中，i为测控任务的次序，n为测控任务的总的个数；

Sat表征测控任务来源即其对应的任务卫星，Sat＝{Sat₁,Sat₂,…Sat_o}

Sat_i表示次序为i的测控任务的来源卫星；

P为测控任务的优先级，P＝{P₁，P₂，...P_i...P_n}，P_i表示次序为i的测控任务的优先级；

D为各测控任务所对应的最短测控时间D＝{d₁,d₂,...d_i...d_n)；d_i表示次序为i的测控任务的最短持续时间；

T_A表征测控任务可以测控的时间区间

T_A＝{[t_1B,t_1E],[t_2B,t_2E],....[t_iB,t_iE],...[t_nB,t_nE]}；

[t_iB,t_iE]表示次序为i的测控任务可以进行测控任务的时间窗口，t_iB为测控任务的最早开始时间，t_iE为测控任务的最晚结束时间；

T_C表征任务的实际测控区间

T_C＝{[t_1b,t_1e],[t_2b,t_2e],....[t_ib,t_ie],...[t_nb,t_ne]}；

[t_ib,t_ie]表示次序为i的测控任务实际进行的时间窗口，t_ib为测控任务调度之后的实际开始时间，t_ie为测控任务实际调度之后的实际结束时间；

To_i描述为各个任务所对应的可见弧段的集合

表示对于次序为i的测控任务，第m个测控资源对其的第k个可见时间窗口，具体表示为[t_b1(s_im),t_e1(s_im)]，t_b1(s_im)为该可见窗口的开始时间，t_e1(s_im)为该可见窗口的结束时间；

(2)测控状态设计

测控状态s的设计是依据测控资源的利用情况即在时间空间可视性的基础上，对测控系统中的不同的可视状态/可用状态利用可见时间窗口来表达；对于一个特定的测控场景，用能够表征每个测控资源状态的0-1矩阵来作为该测控场景的状态，其大小由测控资源个数与测控时间窗口的划分尺度决定；对于每一个测控资源，按照具体需求确定划分尺度对其每日的工作时间进行划分，并对划分后的测控设备时间区间进行可视状态的标记，其中可视/可用单位时间所对应矩阵状态设置为0，不可视/不可用单位时间所对应矩阵状态设置为1，确定在某一确定时刻的测控设备的使用情况即测控状态；

(3)测控动作的设计

测控动作的设计采用层层递进的决策思路，依次决定是否接受测控任务，接受测控任务的测控资源，接受任务的测控资源具体用于该任务的测控时间区间，次序为i的测控动作设计为：

X_i＝(a_i,type,x_ij,y_jk,t_ib)

其中，a_i表征是否接受次序为i的测控任务，type表示接受次序为i的测控任务的测控资源的类型，x_ij表征接受次序为i的测控任务的测控资源编号，y_jk表示用资源j的第k个可见时间窗口执行测控任务，t_ib表征次序为i的测控任务的实际开始时间。