[发明专利]基于图像处理的鼻咽镜下腭咽闭合度的半自动检测方法

权利要求书

1.一种基于图像处理的鼻咽镜下腭咽闭合度半自动检测方法，其特征在于，具体包括以下步骤：

(1)获取目标图像，由内镜主机采集录制整个检查过程的视频，人工截取被测者发音稳定状态下的视频段，提取该视频中的所有图像帧I_i,i＝1,2,3…,N，其中I_i为第i帧图像，N为视频中包含的所有图像帧的总数；

(2)选取基准图像并对腭咽口边界选取人工标记点，根据视频段中的腭咽口运动情况，选定腭咽口静息状态的一帧图像I_n为参考基准图像，对腭咽口的边界绘制M个标记点，M的取值为12，定义标记点集合为P_i，i为图像帧数，该集合中元素为腭咽口上下边界与左右边界标记点，其中腭咽口的上边界选取4个标记点为U_k(i),k＝1,2,3,4，下边界选取4个标记点为D_k(i),k＝1,2,3,4，左右边界各2个标记点为L_k(i),k＝1,2,和R_k(i),k＝1,2；

(3)对图像帧进行预处理，去除图像中的文字信息和黑色区域；

(3a)首先对视频中的每一帧图像I_n，对该图像RGB中R通道的图像进行二值化，得到图像I_n1；

(3b)对图像I_n1中的白色区域求取连通域并计算连通域面积，找到面积最大的白色区域，求取该白色区域横坐标的最小值L_min与最大值L_max，求取白色区域纵坐标的最小值H_min与最大值H_max；

(3c)在原彩色图像I_n中，截取图像，满足坐标点的横坐标范围为[L_min,L_max]，纵坐标的范围为[H_min,H_max]，截取的图像为仅四个角留有黑色区域的I_n2，从而去除左右及上下边界的黑色区域；

(3d)对视频中的每帧图像I_n2，采用填充的方法去除一个角的黑色区域；

(3e)采用相同的方法对其余三个角的黑色区域进行填充，填充后的图像为I_n3；

(4)对预处理后的图像为I_n3进行处理，实现对腭咽口下边界的分割：在第n帧图像I_n中，人工标记下边界的4个点为：D_k(n),k＝1,2,3,4；对该4个标记点进行二次样条插值，得到拟合曲线l_n，该曲线即为I_n3中的腭咽口下边界；

(5)对预处理后的图像为I_n3进行处理，实现对腭咽口左右边界与上边界的分割：

(5a)对选定的第n帧基准图像I_n进行人工标记腭咽口边界和预处理后，其人工标记点集合为P_n，对其进行水平集演化得到最优W_n值下的水平集轮廓C_fn：

(5a1)对图像I_n3做高斯平滑滤波，求出图像的特征参数值；

(5a2)根据鼻咽内镜图像中腭咽口内部区域的边界与图像边界之间的距离，设置初始水平集C_sn，C_sn表示第n帧图像的初始水平集；

初始水平集C_sn为一个矩形框，矩形框大小由矩形框与图像边沿的距离w_n决定，w_n表示第n帧的矩形框与图像边沿的距离；设图像的宽度为width_image，则矩形框的宽度width_Rec_box＝width_image-2*w_n；设图像的高度为height_image，则矩形框的高度height_rec_box＝height_image-2*w_n；

(5a3)对于第n帧图像I_n，其人工标记点集合为P_n，包含12个点，分别为腭咽口的上边界4个点，左边界2个点，右边界2个点，下边界4个点；

分别计算当W_n取值为1,2,3,...,20时进行300次演化后的水平集轮廓C_fnj，j＝1,2,...,20；对于每个水平集轮廓C_fnj，分别计算标定点集合P_n中每个点到该水平集轮廓的最短距离，并计算这8个最短距离的均值d_nj,j＝1,2,3,...,20；当d_nj取最小值时，其对应的水平集轮廓C_fn即为第n帧的最优水平集轮廓，并得到该水平集轮廓的参数W_n；

(5b)按照正向顺序从第n+1帧到结束帧，对每帧图像进行水平集演化，得到最优W_i值下的水平集轮廓C_fi，i表示第i帧，并计算每帧图像的腭咽口边界点集合P_i，从而计算得到每帧图像中腭咽口的边界；

(5b1)当in时，对于第i帧图像，其前一帧图像I_i-1中的腭咽口标记点集合为P_i-1；分别计算当W_i为1,2,3,...,20时进行300次演化后的水平集轮廓C_fij,j＝1,2,...,20；对于每个水平集轮廓C_fij，分别计算标定点集合P_i-1中每个点到该水平集轮廓的最短距离，并计算这8个最短距离的均值d_ij，j＝1,2,3,...,20；当d_ij取最小值时，其对应的水平集轮廓C_fi即为第i帧的最优水平集轮廓，并得到该水平集轮廓对应的参数为W_i；

(5b2)由第i-1帧得到腭咽口边界点集合P_i-1包含点：U_1(i-1)、U_2(i-1)、U_3(i-1)、U_4(i-1)、D_1(n)、D_2(n)、D_3(n)、D_4(n)、L_1(i-1)、L_2(i-1)、R_1(i-1)、R_2(i-1)，基于C_fi和P_i-1寻找点U'_1(i-1)，该点为水平集轮廓C_fi上的一点，且满足点U'_1(i-1)到点U_1(i-1)的距离最短；同理，寻找到点U'_2(i-1)、U'_3(i-1)、U'_4(i-1)、L'_1(i-1)、L'_2(i-1)、R'_1(i-1)、R'_2(i-1)，这8个点与人工标记下边界点D_1(n)，D_2(n)，D_3(n)，D_4(n)，即构成第i帧图像上的腭咽口边界点集合P_i；

(5c)按照逆向顺序从第n-1帧到起始帧，对每帧图像进行水平集演化，得到最优W_i值下的水平集轮廓C_fi，i表示第i帧，并计算每帧图像的腭咽口边界点集合P_i，从而计算得到每帧图像中腭咽口的边界；

(5c1)当in时，对于第i帧图像，其后一帧图像I_i+1中的腭咽口标记点集合为P_i+1，分别计算当W_i为1,2,3,...,20时进行300次演化后的水平集轮廓C_fij，j＝1,2,...,20；对于每个水平集轮廓C_fij，分别计算标定点集合P_i+1中每个点到该水平集轮廓的最短距离，并计算这8个最短距离的均值d_ij，j＝1,2,3,...,20；当d_ij取最小值时，其对应的水平集轮廓C_fi即为第i帧的最优水平集轮廓，并得到该水平集轮廓的参数为W_i；

(5c2)由第i+1帧得到腭咽口边界点集合为P_i+1包含点：U_1(i+1)，U_2(i+1)U_3(i+1)，U_4(i+1)，D_1(n)，D_2(n)，D_3(n)，D_4(n)，L_1(i+1)，L_2(i+1)，R_1(i+1)，R_2(i+1)；基于C_fi和P_i+1寻找点U'_1(i+1)，该点为水平集轮廓C_fi上的一点，且满足点U'_1(i+1)到点U_1(i+1)的距离最短；同理，寻找到点U'_2(i+1)、U'_3(i+1)、U'_4(i+1)、L'_1(i+1)、L'_2(i+1)、R'_1(i+1)、R'_2(i+1)，这8个点与人工标记下边界点D_1(n)，D_2(n)，D_3(n)，D_4(n)即构成第i帧图像上的腭咽口边界点集合P_i；

(6)对腭咽口边界分割后计算腭咽口面积，对于第i帧图像，计算其腭咽口面积A_i；将腭咽口边界集合点12个点，按照逆时针顺序排列，采用公式(1)计算其面积：

x_m为按照逆时针顺序排列的腭咽口边界点的第m个点的横坐标，y_m为第m个点的纵坐标，x_m+1是第m+1个点的横坐标，y_m+1是第m+1个点的纵坐标；

(7)腭咽闭合度计算，对视频中的所有图像帧I_i，i＝1,2,3…,N，计算对应的腭咽口面积A_i后，求取并确定腭咽口面积最大的图像帧，设该帧图像为I_max，其对应的腭咽口面积为A_max；

按照公式(2)计算每帧图像的腭咽闭合度B_i：

B_i＝A_i/A_max，i＝1,2,3…,N (2)。