[发明专利]一种投影对焦方法及投影对焦装置

权利要求书

1.一种投影对焦方法，其特征在于，包括：

获取训练数据，所述训练数据包括多张投影图像的清晰度；

利用所述训练数据定义动作空间、状态空间以及奖励函数，其中，所述动作空间包括当前时间段电机的移动步长，所述状态空间包括所述清晰度的梯度与当前时间段的上一时间段的动作，所述动作空间包括所述电机的移动步长，所述奖励函数用于对所执行的动作进行评估；

利用所述训练数据、所述动作空间、所述状态空间以及所述奖励函数，训练强化学习模型，其中，所述强化学习模型的输入包括所述投影图像的清晰度，所述强化学习模型的输出包括所述电机的移动步长；

利用摄像装置获取当前投影图像，并识别所述当前投影图像的清晰度，将所述当前投影图像的清晰度输入所述强化学习模型，得到所述电机的当前移动步长；

控制所述电机移动所述当前移动步长，以使得所述电机驱动投影装置移动；

判断是否对焦成功；

若否，则返回所述利用摄像装置获取当前投影图像，并识别所述当前投影图像的清晰度，将所述当前投影图像的清晰度输入所述强化学习模型，得到所述电机的当前移动步长的步骤，直至对焦成功。

2.根据权利要求1所述的投影对焦方法，其特征在于，所述获取训练数据的步骤，包括：

控制所述电机在预设移动区间内以预设步长移动，以使得所述电机带动所述投影装置移动；

控制所述摄像装置在所述电机移动所述预设步长后进行拍摄，得到所述投影图像，并采用梯度法计算所述投影图像的清晰度。

3.根据权利要求2所述的投影对焦方法，其特征在于，所述利用所述训练数据定义动作空间的步骤，包括：

根据所述预设移动区间的长度确定所述电机单次移动的最大步长；

其中，所述动作空间记作a，a∈[d，n]，d为所述电机的转动方向的标识值，d＝-1，1；n为所述当前时间段电机的移动步长，n＝1，2，…，L_max，L_max为所述最大步长。

4.根据权利要求3所述的投影对焦方法，其特征在于，

所述状态空间记作s，s∈[g，d，n]，g为所述清晰度的梯度，且S_t为t时刻所述投影图像的清晰度，S_t-1为t-1时刻所述投影图像的清晰度，n为t-1时刻所述电机的移动步长。

5.根据权利要求4所述的投影对焦方法，其特征在于，

所述奖励函数为：

其中，α与β为加权系数，α与β的取值与所述训练数据相关，k为当前执行动作的次数。

6.根据权利要求1所述的投影对焦方法，其特征在于，所述利用所述训练数据、所述动作空间、所述状态空间以及所述奖励函数，训练强化学习模型的步骤，包括：

利用所述动作空间、所述状态空间以及所述奖励函数，构建强化学习模型网络；

使用所述训练数据对所述强化学习模型网络进行训练，得到所述强化学习模型。

7.根据权利要求6所述的投影对焦方法，其特征在于，所述利用所述动作空间、所述状态空间以及所述奖励函数，构建强化学习模型网络的步骤，包括：

采用神经网络算法建立将所述状态空间映射到所述动作空间的策略函数；

采用Q-learning算法和反向传播算法更新神经网络的参数。

8.根据权利要求1所述的投影对焦方法，其特征在于，

每一轮训练的终止条件为所述强化学习模型中的智能体到达最佳对焦位置和/或所述智能体的决策次数大于预设次数。

9.根据权利要求1所述的投影对焦方法，其特征在于，所述方法还包括：

每经过预设轮训练后，利用测试数据对训练得到的当前强化学习模型进行测试，得到所述测试数据对应的奖励值；

对所述测试数据对应的奖励值进行求和，得到总奖励值，并存储所述总奖励值；

继续进行训练，直至所述总奖励值收敛。

10.一种投影对焦装置，其特征在于，包括互相连接的存储器和处理器，其中，所述存储器用于存储计算机程序，所述计算机程序在被所述处理器执行时，用于实现权利要求1-9中任一项所述的投影对焦方法。