[发明专利]一种基于视觉伺服的果蝇跟踪方法及系统

权利要求书

1.一种基于视觉伺服的果蝇跟踪方法，其特征在于，包括以下步骤：

1)搭建果蝇跟踪系统；所述系统包括：XY平面位移平台，果蝇容器，玻片夹，带有绿色滤光片的汞灯，相机，红色滤光片，显微物镜，反射镜，光学平台和计算机；其中，果蝇容器使用三块边长均为3厘米的石英玻璃片堆叠而成，其中上下两块玻璃片厚度为1毫米，中间一块玻璃片厚度为2.3毫米，中间一块玻璃片中心有一个直径为1厘米的圆孔，该圆孔为果蝇的运动区域；所述XY平面位移平台固定在光学平台上，玻片夹固定在XY平面位移平台上，果蝇容器通过玻片夹固定在XY平面位移平台1上，带有绿色滤光片的汞灯放置在光学平台上，该汞灯从上往下照射果蝇容器，相机固定在光学平台上，相机前端安装显微物镜，显微物镜前端安装红色滤光片，反射镜通过支架固定在光学平台上，反射镜位于果蝇容器正下方，使得从汞灯发出的光线穿过果蝇容器后经反射镜反射垂直进入相机；所述XY平面位移平台与相机分别连接计算机；

2)调节光路共轴，调节汞灯的光线沿竖直方向，反射镜的反射面与汞灯的光线成45°，调节相机光轴沿水平方向且与汞灯光线通过反射镜形成的反射光线平行，使得汞灯的光线垂直进入相机，沿水平方向调节相机位置直至相机获取的图像清晰；

在果蝇容器壁上涂抹防止果蝇爬壁的试剂，通过基因编辑技术将红色荧光蛋白基因植入果蝇体内，将处理完毕的果蝇转移入果蝇容器的圆孔中；

相机与XY平面位移平台分别初始化，其中，相机分辨率设置为256*320，帧率设置为300Hz；

3)使用微型圆形标定板和OpenCV的相机标定函数标定相机成像模型的内参矩阵M_c；

标定XY平面位移平台坐标系F_m与相机坐标系F_c之间的变换矩阵T_e；具体方法如下：

将所述微型圆形标定板正面朝下放置在XY平面位移平台上，调整微型圆形标定板的位置使得相机图像视野中出现1个以上圆形，然后将微型圆形标定板固定，调整相机水平位置完成对焦；启动XY平面位移平台，令平台搭载其上部件连续运动30个随机运动量，将每次随机运动量分别在X，Y方向上的运动量组成矩阵X_M，该矩阵维度为2*30，同时在每次随机运动之前通过计算机从相机提取含有圆形的图像，使用霍夫变换检测标定板上圆形圆心在每张图像中位置，计算连续两张图像的圆心因平台的运动而在像素坐标系中X，Y方向上产生的位移量组成矩阵X_I，该矩阵维度为2*30，表示30次运动圆心分别在图像中X，Y方向上的运动量；

假设矩阵X_M和X_I存在线性关系，用矩阵T表示：

TX_I＝X_M

对矩阵T的估计为：其中表示X_I的伪逆；

矩阵T即为XY平面位移平台坐标系F_m与相机坐标系F_c之间的变换矩阵T_e；

4)将微型圆形标定板从XY平面位移平台上取下，将装有果蝇的容器通过玻片夹固定在XY平面位移平台上，再次调整相机水平位置完成对焦；启动XY平面位移平台，相机以300Hz连续采集图像；记当前时刻k＝1；

5)提取当前时刻的图像，记为P_k；使用中值滤波算法对图像P_k进行降噪滤波；对滤波后的图像进行二值图像阈值处理得到P_k对应的二值图像，提取出P_k中果蝇眼部初步轮廓；

6)对步骤5)得到的二值图像进行判定：

若该二值图像中白色区域的像素数量小于5000,则果蝇在视野之外，然后重新返回步骤5)直至二值图像中白色区域的像素数量大于等于5000；

若该二值图像中白色区域的像素数量大于等于5000，则果蝇在视野当中，首先使用形态学操作去除该二值图像中小于面积阈值的白色区域，然后使用轮廓提取算法提取出形态学操作完毕后的二值图像中果蝇眼睛的轮廓；若提取出的轮廓数量等于2，则该2个轮廓即为果蝇两眼的轮廓，分别计算2个轮廓的质心位置，然后对2个质心坐标取平均值即为对果蝇头部中心位置在P_k中的位置的观测值其中，为果蝇头部中心位置在P_k中X方向上的观测值，为果蝇头部中心位置在P_k中Y方向上的观测值；

若提取出的轮廓数量大于2，则使用K均值聚类算法将形态学操作完毕后的二值图像中所有轮廓聚成两类，分别计算出两类轮廓的质心位置，然后对两类轮廓的质心坐标取平均值作为果蝇头部中心位置在P_k中的位置的观测值

7)根据步骤6)中得到的在相机坐标系下，使用卡尔曼滤波算法对果蝇头部中心位置在图像P_k+1中的估计值

分别对果蝇在XY两个方向上的运动建立模型；

在X方向上：

其中，过程矩阵控制矩阵观测矩阵H＝[1 0]，W_k-1为k-1时刻的过程噪声，V_k-1为观测噪声为k-1时刻的观测噪声，果蝇在k时刻的X方向的状态包括果蝇头部中心位置在图像P_k中X方向上的值x_k以及果蝇k时刻的自身的X方向的运动速度为果蝇在k-1时刻的X方向的状态，k-1时刻X方向的控制量包括XY平面位移平台在k-1和k两个时刻之间在X方向上的运动量x_m,k-1以及k-1时刻果蝇自身运动的X方向的加速度下标m代表XY平面位移平台；k时刻X方向的观测量为步骤6)得到的在k＝0时刻，x₀设为160，设置x_m,0，均为0；

卡尔曼滤波器根据进行状态估计为其中，K_k为k时刻的卡尔曼增益矩阵，为果蝇头部中心位置在图像P_k中X方向的估计值，为k时刻果蝇自身运动X方向速度的估计值；对果蝇头部中心位置下一时刻在X方向上进行估计为对进行低通滤波处理，得到更新后的果蝇头部中心位置在图像P_k+1中X方向的估计值：其中f为常数；

在Y方向上:

其中，果蝇在k时刻的Y方向的状态包括果蝇头部中心在图像P_k中Y方向上的值y_k以及果蝇k时刻的自身的Y方向的运动速度为果蝇在k-1时刻的Y方向的状态，k-1时刻Y方向的控制量包括XY平面位移平台在k-1和k两个时刻之间在Y方向上的运动量y_m,k-1以及k-1时刻果蝇自身运动Y方向的加速度观测量为步骤6)得到的在k＝0时刻，y₀设为128，设置y_m,0，均为0；

卡尔曼滤波器根据进行状态估计为其中为果蝇头部中心位置在图像P_k中Y方向的估计值，为k时刻果蝇自身运动Y方向速度的估计值；对果蝇头部中心位置下一时刻在Y方向上进行估计为对进行低通滤波处理，得到更新后的果蝇头部中心位置在图像P_k+1中Y方向的估计值：

最终得到果蝇头部中心位置在图像P_k+1中的估计值记为

8)在相机坐标系下，计算果蝇k+1时刻预测位置与目标位置z^*＝(x^*,y^*)的误差：

根据视觉伺服控制律：其中v_k为XY平面位移平台在k时刻的运动速度，λ是增益系数，是交互矩阵的伪逆的近似估计量，等于变换矩阵T_e；在XY平面位移平台坐标系下，以PID控制器为基础设计视觉伺服控制律，输入e_m,k然后输出XY平面位移平台在k时刻的运动速度：

其中，v_k为XY位移平台在k时刻至k+1时刻之间的运动速度，为一个二维向量，分别包括XY位移平台在k时刻至k+1时刻之间在X方向和Y方向上的运动速度；K_p，K_I，K_D分别为比例系数，积分系数和微分系数；系数α的取值为：ε为设定的积分系数阈值；系数η为系统延迟的补偿系数；

9)根据步骤8)得到的v_k，计算XY平面位移平台在当前运动周期内的运动量z_m,k＝v_kΔt，Δt为一个控制周期的持续时间；

XY平面位移平台按照z_m,k进行运动直至k+1时刻，实现当前时刻对果蝇的跟踪；当k+1时刻到来时，令k＝k+1,然后重新返回步骤5)。

2.一种基于如权利要求1所述方法的果蝇跟踪系统，其特征在于，所述系统包括：XY平面位移平台，果蝇容器，玻片夹，带有绿色滤光片的汞灯，相机，红色滤光片，显微物镜，反射镜，光学平台和计算机；其中，果蝇容器使用三块边长均为3厘米的石英玻璃片堆叠而成，其中上下两块玻璃片厚度为1毫米，中间一块玻璃片厚度为2.3毫米，中间一块玻璃片中心有一个直径为1厘米的圆孔，该圆孔为果蝇的运动区域；所述XY平面位移平台固定在光学平台上，玻片夹固定在XY平面位移平台上，果蝇容器通过玻片夹固定在XY平面位移平台1上，带有绿色滤光片的汞灯放置在光学平台上，该汞灯从上往下照射果蝇容器，相机固定在光学平台上，相机前端安装显微物镜，显微物镜前端安装红色滤光片，反射镜通过支架固定在光学平台上，反射镜位于果蝇容器正下方，使得从汞灯发出的光线穿过果蝇容器后经反射镜反射垂直进入相机；所述XY平面位移平台与相机分别连接计算机。