[发明专利]一种基于强化学习的大视场摄像机标定方法

权利要求书

1.一种基于强化学习的大视场摄像机标定方法，其特征在于，包括以下步骤：

(1)针对视场面积大于标定靶标面积4倍以上的摄像机标定问题，建立大视场摄像机标定图像采集过程的马尔科夫决策模型，并初始化马尔科夫决策模型，即，先随机初始化标定状态，包括一组靶标的位置和姿态，利用张正友标定法计算当前标定状态的摄像机标定误差，通过旋转平移动作得到下一标定状态，并计算下一标定状态对应的标定误差，根据误差变化对标定的状态-动作对进行奖励；

(2)建立大视场摄像机成像系统仿真模型，作为马尔科夫决策模型的仿真环境，用于模拟标定系统并计算标定误差，即，根据摄像机小孔成像光学原理以及镜头镜像和切向畸变模型，结合相机感光阵列和镜头的出厂参数，以及散焦模糊和噪声模型，把所有靶标标记点的已知世界坐标映射成靶标标定图像上标记点像素坐标，然后利用张正友标定法优化得到摄像机内外参数估计值，再利用内外参数计算靶标标记点的反投影误差作为标定误差；

(3)结合标定精度要求以及马尔科夫决策模型的状态空间约束，设计奖励模型，将标定误差增量等信息转换为状态-动作对相对应的奖励；

(4)利用基于值函数逼近的Q-learning方法和约束条件，训练马尔科夫决策模型，得到标定操作最优策略。

2.根据权利要求1所述的一种基于强化学习的大视场摄像机标定方法，其特征在于，所述步骤(1)具体包括以下步骤：

(1.1)建立离散化摄像机可视三维空间的标定状态空间：将大视场可视三维空间范围按边长为d划分为K个小立方体，第k个立方体中心坐标为(x_k,y_k,z_k)，靶标在拍摄过程中绕三个轴的旋转角度范围分别按等间隔角度Δ划分为L个角度位置，假设在(x_k,y_k,z_k)位置处靶标姿态为(α_k,β_k,θ_k)，六元组t＝[x_k,y_k,z_k,α_k,β_k,θ_k]称为一个靶标状态，则所有靶标状态的集合T＝{t_k,k＝1,...,KL³}为靶标状态空间,假设总共采集N个靶标标定图像，s＝[t_i1,t_i2,t_i3,t_i4,...,t_iN]称为一个标定状态，则共有(KL³)^N个标定状态，由此建立标定状态空间S＝{s_i,i＝1,...,(KL³)^N}；

(1.2)建立靶标在摄像机可视三维空间中移动的动作空间：按立方体边长d的整数倍移动靶标的位置，按角度间隔Δ的整数倍旋转靶标的三个角度作为改变标定状态的动作，且必须满足采取移动和旋转动作后靶标位置和角度不超出状态空间的约束条件；N个靶标标定图像中，靶标的移动有O种取值，旋转有P种取值，可知总的动作空间包括(O+P)^N个动作，由此建立动作空间A＝{a_i,i＝1,...,(O+P)^N}；

(1.3)构建标定状态转移概率函数：采用贪婪策略，根据标定状态选择靶标最优动作，构建状态转移概率函数；

(1.4)构建标定状态-动作对的奖励回报：利用相邻两次标定状态s、s'下所有N个靶标标定图像上特征点信息对摄像机分别进行标定，计算相邻两次标定状态对应的标定精度，根据标定误差增量等信息计算当前动作的即时奖励，并累加计算此前序贯决策的折扣回报，由此构建奖励回报；

(1.5)基于张正友标定方法相关先验知识初始化马尔科夫决策模型，包括标定过程中散焦图像拍摄位置、靶标角度、分布情况。