[发明专利]基于策略梯度的大规模图像检索方法及装置

权利要求书

1.一种基于策略梯度的大规模图像检索方法，其特征在于，包括以下步骤：

接收输入图像；

将所述输入图像送入新的深度哈希网络中，其中，所述新的深度哈希网络包括卷积神经网络与带有非线性激活函数的全连接的策略层，且使用所述卷积神经网络学习得到图像的深度表达，并通过所述带有非线性激活函数的全连接的策略层将每个特征表达转化成一个K维度的向量，每一个维度代表着进行二值操作的概率，其中，在完成学习网络参数后，对训练的样本生成的二值码进行扩展，其中，

将测试样本传入所述哈希网络之中，在顶层得到K维度的关于采取+1的哈希码的概率向量，且直接采用：

另外，对于已经得到的概率向量，写出随机式的二值码生成：

以及

通过端到端训练所述新的深度哈希网络，以最大化相似度保持所得到的奖励的期望。

2.根据权利要求1所述的基于策略梯度的大规模图像检索方法，其特征在于，所述带有非线性激活函数的全连接的策略层输出的概率分布被形式化的表示为：

其中，π(x_i,θ)为策略函数，θ为网络参数，x_i为输入样本，a_i为二值动作。

3.根据权利要求1所述的基于策略梯度的大规模图像检索方法，其特征在于，所述通过端到端训练所述新的深度哈希网络，进一步包括：

在训练过程中，将最小化训练数据的奖励函数的期望的相反数作为目标。

4.根据权利要求2所述的基于策略梯度的大规模图像检索方法，其特征在于，所述通过端到端训练所述新的深度哈希网络，进一步包括：

通过强化算法和基线算法获取整体优化目标的梯度；

其中，使用所述强化算法来计算不可微分的奖励函数期望梯度：

其中，A_i是对第i个数据的所有动作，r(a_i)为加权的奖励函数，P_θ为在当前的网络参数下，对某一状态采取动作的概率；

期待的策略梯度计算为：

其中，T为进行采样的次数，a_i^t为采取的动作，r(a_i^t)为奖励函数；

另外，采用所述基线算法进行梯度的估计，梯度估计为：

其中，r'为基线。

5.一种基于策略梯度的大规模图像检索装置，其特征在于，包括：

接收模块，用于接收输入图像；

送入模块，用于将所述输入图像送入新的深度哈希网络中，其中，所述新的深度哈希网络包括卷积神经网络与带有非线性激活函数的全连接的策略层，且使用所述卷积神经网络学习得到图像的深度表达，并通过所述带有非线性激活函数的全连接的策略层将每个特征表达转化成一个K维度的向量，每一个维度代表着进行二值操作的概率，其中，在完成学习网络参数后，对训练的样本生成的二值码进行扩展，其中，

将测试样本传入所述哈希网络之中，在顶层得到K维度的关于采取+1的哈希码的概率向量，且直接采用：

另外，对于已经得到的概率向量，写出随机式的二值码生成：

以及

训练模块，用于通过端到端训练所述新的深度哈希网络，以最大化相似度保持所得到的奖励的期望。

6.根据权利要求5所述的基于策略梯度的大规模图像检索装置，其特征在于，所述带有非线性激活函数的全连接的策略层输出的概率分布被形式化的表示为：

其中，π(x_i,θ)为策略函数，θ为网络参数，x_i为输入样本，a_i为二值动作。

7.根据权利要求6所述的基于策略梯度的大规模图像检索装置，其特征在于，所述训练模块进一步用于在训练过程中，将最小化训练数据的奖励函数的期望的相反数作为目标。

8.根据权利要求6所述的基于策略梯度的大规模图像检索装置，其特征在于，所述训练模块进一步用于通过强化算法和基线算法获取整体优化目标的梯度；其中，使用所述强化算法来计算不可微分的奖励函数期望梯度：

其中，A_i是对第i个数据的所有动作，r(a_i)为加权的奖励函数，P_θ为在当前的网络参数下，对某一状态采取动作的概率；

期待的策略梯度计算为：

其中，T为进行采样的次数，a_i^t为采取的动作，r(a_i^t)为奖励函数；

另外，采用所述基线算法进行梯度的估计，梯度估计为：

其中，r'为基线。