[发明专利]一种基于状态分布感知采样的智能体深度价值函数学习方法

权利要求书

1.一种基于状态分布感知采样的智能体深度价值函数学习方法，其特征在于包括以下步骤：

S1、获取用于智能体学习价值函数的经验数据，并定义算法目标；

S2、使用卷积神经网络对经验数据进行预处理，增强经验数据集的表达能力；

S3、在经验数据集的特征空间中使用无监督方法对经验数据集进行聚类；

S4、根据经验数据集的状态分布，采用基于均匀采样和簇等概率采样插值的样本状态分布感知采样方法进行样本采样；

S5、智能体使用采样得到的样本数据进行价值函数的学习；

步骤S1中所述的用于智能体学习价值函数的经验数据为四元组{s，a，r，s′}，其中s表示智能体的状态，a表示智能体采取的动作，r表示智能体获得的奖励，s′表示智能体的下一状态；所述的算法目标为最大化智能体的累计奖励，累计奖励计算如下：其中γ是折现系数，且γ∈(0，1)，t是智能体和环境的交互次数，r_t为智能体在t次交互获得的奖励；

步骤S2中所述的预处理具体为：使用卷积神经网络对数据进行处理以获得表达性更强的状态特征，具体计算如下：

其中f_cnn()为卷积神经网络，θ_cnn为卷积参数，为提取到的s_i的深层卷积特征，s_i为经验数据集中第i个样本的原始状态特征；i＝1，2，...，n，n为经验数据集中的样本总数；

所述步骤S3包括以下子步骤：

S31、使用静态哈希的方法SimHash将高维的数据转换为哈希码进行分析聚类，即：

其中为的哈希码；A是一个k×D的转换矩阵，其元素从一个标准高斯分布N(0，1)中随机采样得到，k是哈希码的长度，D是的维度；

S32、对n个哈希码按照汉明距离进行不同类别的分类统计，得到m个不同的簇，第j个簇包含的样本数量为num_j，并且

步骤S4中样本采样方法具体为：在S3聚类分析得到的样本状态空间分布的基础上，采用基于均匀采样和簇等概率采样插值的样本状态分布感知采样方法进行样本采样，该采样方法中采样第i个样本的概率为：

其中β是用来平衡均匀采样和簇等概率采样之间的超参数，β∈(0，1)；num_i表示第i个样本所在的簇包含的样本数量；

得到每个样本的概率后，根据不同样本的概率从经验数据集中采集样本；

步骤S5具体为：使用S4所述采样方法从经验数据集中获取样本后，将其用于智能体学习价值函数，根据如下方程迭代地更新价值函数：

其中Q(s，a)为价值函数，Q(s′，a′)下一时刻的价值函数，α为学习率。