[发明专利]一种基于强化学习框架的白盒照片后期处理方法

权利要求书

1.一种基于强化学习框架的白盒照片后期处理方法，其特征在于，主要包括后期处理模型(一)；滤波器设计(二)；网络学习(三)。

2.基于权利要求书1所述的后期处理模型(一)，其特征在于，给定一张需要进行后期处理的原始图像，由于摄影师无法仅查看原始输入图像来确定完整的操作序列，为了避免直接从输入推断最终输出，利用一个自动修饰系统进行反馈，有效地学习如何根据反馈的信息选择和应用单个操作，并把后期处理作为决策序列模拟一个连续的决策问题。

3.基于权利要求书2所述的决策序列，其特征在于，把强化学习(RL)问题表示为S是状态空间，是动作空间，特别地，在照片后期处理任务中，S表示图像空间，其中包括输入的原始图像和自动处理中产生的所有中间结果，而表示所有滤波器操作的集合，转移函数p:在采用后将输入状态s∈S映射到其结果状态s′∈S，状态转移表示为s_i+1＝p(s_i,a_i)，在输入的原始图像上应用一系列的滤波器以产生状态和动作轨迹：

t＝(s₀,a₀,s₁,a₁,…,s_N-1,a_N-1,s_N) (1)

其中，s_i∈S,分别表示状态和动作，N是动作次数，s_N是停止状态，RL的中心元素通过奖励函数r:来评估状态执行的步骤，为了在决策过程中选择一个最大化累积奖励的策略π，使用一个随机策略代理，其中策略π：将当前状态s∈S映射到上，表示行为上的概率密度函数集合，当代理策略进入一个状态时，它根据概率密度函数对所执行的动作进行采样，收到采样信息后跟随转换函数进入下一个状态。

4.基于权利要求书3所述的轨迹，其特征在于，给定轨迹t＝(s₀,a₀,s₁,a₁,…,s_N)，将回归定义为s_k后的折扣回报的总和，通过以下公式给定：

其中γ∈[0,1]是一个折扣系数，为了评估策略，确定以下目标：

其中s₀是输入图像，代表期望值，S₀是输入数据集，直观地说，目标描述了策略π产生的所有可能轨迹的预期回报，代理任务的目的是最大化目标J(π)，该目标与回报函数r中获得的最终图像质量相关，因为图像质量越高，回报越大。

5.基于权利要求书3所述的状态，其特征在于，状态和状态动作对的预期总折扣回报由状态值函数V和动作值函数Q定义：

为了将后期问题适配到RL框架中，将动作分解为两部分：过滤器a₁的离散选择和过滤器a₂的连续决策，该策略还包括两部分：π＝(π₁,π₂)，π₁是取得一个状态并在过滤器上返回概率的函数，π₂是(s,a₁)后直接生成a₂的函数，其中π₁是随机的，需要进行采样，由于抽样连续随机变量在应用中存在挑战，因此根据最近的实验，通过确定性来处理π₂。