[发明专利]一种基于强化学习的显示器屏幕刷新频率追踪方法

权利要求书

1.一种基于强化学习的显示器屏幕刷新频率追踪方法，其特征在于，包括如下步骤：

通过显示屏持续播放视频画面，视觉传感器以初始采样频率F0对画面进行采样；

学习单元实时读取画面帧，并对图像做差分运算，差分运算公式为：

   (1)

式(1)中D(x,y)是连续两帧图像之间的差分图像函数，由图像I(t)和其前一帧图像I(t-1)做差分运算得到，差分运算的方法为两帧图像中坐标相同的像素点灰度数据做减法得到差值，然后取每个差值的绝对值得到一帧新的图像，I(t)和I(t-1)分别为t和t-1时刻的图像灰度值矩阵，I的大小为M*N，对应图像的分辨率的M行和N列，差分图像D(x,y)是前后图像对应像素点灰度差值取绝对值后矩阵，大小为M*N，其中x和y分别表示行和列的索引值集合，x的取值范围为[0, M]的整数且步长为1，y的取值范围为[0, N]的整数且步长为1，差分处理后的图像D(x,y)输入学习算法模型；

场景同步单元根据差分图像的灰度大小与分布判断前后帧的相似度，得到差分图像值；

若差分图像值大于预定阈值，则冻结当前差分图像，直至差分图像值小于预定阈值；

冻结当前差分图像表示不对图像的当前帧做更新动作，冻结机制公式如下:

其中T表示前后两帧差值的阈值，Frozen表示不对当前帧做更新动作，一直到前后两帧的差值小于阈值为止；

学习算法模型包括Action-Network和Q-Network两部分；

Action-Network实现从模型输入到下一个时刻动作映射，Q-Network实现从当前设置参数到下一个时刻显示屏刷新频率追踪效果的映射；

学习单元进行频率追踪的过程如下：

学习单元内置有学习算法软件，学习算法软件读取样本图像和屏幕频率范围，以步进的方式将屏幕设置在不同刷新频率点并播放图像，样本图像为任意颜色及其组合的内容；

每一种显示频率下，学习算法软件设置视觉传感器的采样频率为F0，并开始采集视觉传感器的图像数据；

根据Q-Network网络的默认参数预测下一帧图像的样式，下次采样时刻得到视觉传感器实际采样到的图像reward，所得到的预测图像与实际采样图像的差值Δreward用于表示Action-Network的有效性，预测图像与实际采样图像的差值Δreward越小说明对视觉传感器采样频率调节的效果越接近理想值，其对时间的导数反馈给Action-Network进行参数调节，用以训练Action-Network获得对视觉传感器的采样率设置，重复上述动作，直至预测图像样式和实际图像样式的差值小于预定值时，停止当前显示频率的学习；

Action-Network的输入向量为St，St为当前及过去N-1个时刻的差分图像参数输入，包括视觉传感器过去N-1个时刻的差分图像，每个时刻的采样频率和每帧采样时长数值；

Action-Network的输出向量为，表示预测动作的集合，或表示下一时刻对视觉传感器采样率和采样时长的设置量；

Q-Network的输入向量包括当前视觉传感器的设置参数的集合 和当前差分图像函数D(x,y)，通过神经网络的非线性映射，得到系统下一个时刻的最大概率图像样式预测。