[发明专利]基于深度强化学习的地下浅层起爆点定位方法

权利要求书

1.一种基于深度强化学习的地下浅层起爆点定位方法，其特征在于，包括以下步骤：

S1、布设震动传感器阵列；

S2、生成基于能量信息的学习样本，具体如下：

S2.1获取预设震源信号

在水平XOY坐标系的四个象限分别预设一发震源弹，利用所述的震动传感器阵列获取爆炸产生的震动信号；

S2.2对监测区域划分网格

S2.3将每个震动传感器分别作为虚拟震源进行逆向传播，得到逆时反传波场；

S2.4能量场逆时成像，得到瞬时三维能量场图像，具体为：首先将n个传感器进行分组，按照相似性，分为M组，每组由L个传感器组成；其次，对传感器组内对应的震动传感器在地下任意位置处形成的逆时反传波场进行自相关运算和线性振幅叠加运算，得到传感器组内对应的自相关三维能量场图像；再次，对传感器组间的自相关三维能量场图像进行互相关运算，最终得到每一时刻的互相关三维能量场图像，消除逆时反传产生的成像干扰；最后对每一时刻的互相关三维能量场图像进行二次处理，得到瞬时三维能量场图像，具体如下：在时间域内，按照信号的瞬时频率特性设置时窗长度T，将时窗长度内的互相关三维能量场图像进行线性叠加，叠加后的图像加权融合后作为该时刻的瞬时三维能量场图像，具体公式如下：

其中，Image(X_j,t)为地下空间瞬时三维能量场图像，R_i(X_j,t)是第i个传感器逆时传播形成的信号，L为组内传感器个数，M为传感器组的个数，t₁，t₂为时窗的起始和终止时间，T为时窗长度；

不同时刻T是自适应变化的，在t时刻对应的时窗长度T用T(t)来表示，定义为：

其中，Ω(t)表示瞬时频率，通过将R_i(X_j,t)进行时频变换得到；

S3、设计由深度决策网络、目标深度决策网络、搜索策略模型、强化学习模块组成的深度学习网络；

其中深度决策网络与目标深度决策网络是同样的网络，深度决策网络会把训练参数拷贝到目标深度决策网络，目标深度决策网络用于估计目标价值，并将目标价值作为深度决策网络标签的一部分；

搜索策略模型用于把三维能量场图看作震源位置的整体搜索区域，把中心位置对应的区域作为初始搜索框，将初始搜索框的中心点作为初始震源坐标；设置初始搜索框移动步长，定义9种有效动作，分别为搜索框向上移动(a)，搜索框向下移动(b)，搜索框向左移动(c)，搜索框向右移动(d)，搜索框向前移动(e)，搜索框向后移动(f)，搜索框收缩(g)，搜索框放大(h)，搜索区域确定并停止(I)；

强化学习模块用于定义当前动作是积极的还是消极的，并在交互的过程中反馈一个立刻的奖励函数值；

S4、深度学习网络训练完成后，直接在三维能量场图设定一个初始搜索框，经过上采样输入训练好的深度决策网络中，输出最大价值对应的动作，然后在三维能量场图中，找到该动作对应的新区域，重新作为初始搜索框，并经上采样再次输入到深度决策网络，以此类推，直到停止动作时，最后一个区域的中心点为预测震源位置。

2.根据权利要求1所述的一种基于深度强化学习的地下浅层起爆点定位方法，其特征在于，S1中，在监测区域中心位置选取一点作为坐标原点，建立直角坐标系，将n个传感器，以坐标原点为中心，均匀布设于地表，形成等间距方形阵列，并获取每个传感器坐标信息X_i＝(x_i,y_i,z_i)，i＝1,2,3,...,n。

3.根据权利要求1所述的一种基于深度强化学习的地下浅层起爆点定位方法，其特征在于，S2.2中，根据所监测范围，定义一个地下三维震源定位区域，并对监测区域进行网格划分，将空间划分为N个大小相同的立方体网格，得到每个网格坐标X_j＝(x_j,y_j,z_j)，j＝1,2,3,...,N。