[发明专利]一种基于视觉转换器的深度强化学习方法及装置

权利要求书

1.一种基于视觉转换器的深度强化学习方法，其特征在于，所述方法包括：

构建基于视觉转换器的深度强化学习网络结构，其中，所述视觉转换器包括多层感知器和转换编码器，所述转换编码器包括多头注意力层和前馈网络；

初始化所述深度强化学习网络的权重，根据存储器的容量大小构建经验回放池；

通过贪婪策略与运行环境进行交互，产生经验数据并将其放入所述经验回放池；

当所述经验回放池中的样本数量满足预设的训练样本数量时，从所述经验回放池中随机抽取一批训练样本图像，对所述训练样本图像进行预处理；

将所述预处理后的训练样本图像输入所述深度强化学习网络进行训练；

在所述深度强化学习网络满足收敛条件时，获取强化学习模型。

2.根据权利要求1所述的方法，其特征在于，所述通过贪婪策略与运行环境进行交互，产生经验数据并将其放入所述经验回放池，包括：

通过ε-greedy策略与运行环境进行交互，获取经验数据(s,a,r,s′)并将其放入所述经验回放池，其中，s为当前时刻的观测量，a为当前时刻动作，r为环境返回的回报，s'为下一时刻的观测量。

3.根据权利要求2所述的方法，其特征在于，所述当所述经验回放池中的样本数量满足预设的训练样本数量时，从所述经验回放池中随机抽取一批训练样本图像，对所述训练样本图像进行预处理，包括：

当所述经验回放池中的样本数量满足预设的训练样本数量m时，从所述经验回放池中随机抽取数量为batch大小的训练样本图像，对尺寸大小为H*W的训练样本图像进行预处理，根据所述训练样本图像的大小将其分成N个色块，每个色块的尺寸大小为P*P，其中，H为所述训练样本图像的高度，W为所述训练样本图像的宽度，N＝H*W/P²；

使用线性投影矩阵将输入的t-2时刻、t-1时刻、t时刻图像中的每个色块X进行平化，得到映射后的D维向量X₁＝Embedding(X)，并向其添加位置嵌入PositionEncoding和时序嵌入SequenceEncoding，以得到色块向量X₂＝X₁+PositionEncoding+SequenceEncoding；

将状态动作价值占位符QvalueToken通过学习参数的方式与所述色块向量X₂进行拼接，得到X₃＝Concat(X₂，QvalueToken)，之后将处理后的数据输入所述视觉转换器，通过所述视觉转换器输出动作状态值X_output，其中，

X_output＝MLP(X_hidden)，

X_hidden＝LayerNorm(X_attention+FeedForward(X_attention))，

X_attention＝LayerNorm(X₃+SelfAttention(X₃W_Q,X₃W_K,X₃W_V))，

其中，MLP为多层感知器，X_hidden为转换编码器的输出，FeedForward为由两层线性映射和激活函数组成的前馈网络，X_attention为多头注意力层的输出，SelfAttention为自注意力层，W_Q、W_K、W_V分别为线性映射的网络权重。