[发明专利]一种基于卷积神经网络的特征匹配方法

权利要求书

1.一种基于卷积神经网络的特征匹配方法，其特征在于，包括以下步骤：

(1)、特征提取

将内窥镜获取的视频序列的前N+1帧依次标记为I₀,I₁,…,I_N，然后提取前N+1帧的特征点，记为F₀,F₁,…,F_N，其中，第i帧的特征点集合F_i＝[F_i1,F_i2,…,F_im,…,F_iM]，i＝0,1,2,…,N，m＝1,2,…,M，M表示特征点总数，F_im表示第i帧中第m个特征点的特征表述，具体形式为：F_im＝[F_im1 F_im2]，F_im1为第m个特征点的位置向量，F_im2为第m个特征点的描述向量；

(2)、利用特征点集合生成训练数据集

(2.1)、将第0帧的特征点集合分别与其后N帧的特征点集合做特征匹配，特征匹配结果分别记为M₁,M₂,…,M_i,…,M_N，i＝1,2,…,N；其中，第i帧与第0帧的特征匹配结果为M_i＝[M_i1,M_i2,…,M_in]，M_in为第n个匹配对，具体形式为：M_in＝[M_in1 M_in2]其中，M_in1为匹配对中的一个特征在第0帧中的特征，取值为该特征在第0帧特征总数中所处的特征序列；M_in2为匹配对中的一个特征在第i帧中的特征，取值为该特征在第i帧特征总数中所处的特征序列；

(2.2)、获取训练数据

设置集合D和L，D和L分别用于存放训练数据的特征点和特征点标签；

统计特征匹配结果中匹配对在第0帧中出现频率最高的m'种特征序列，将其视为m'个特征类别；然后将第0帧中这m'个特征类别的特征点及每个特征点在后面N帧中匹配的特征点存入至D中，并将相同特征点贴上相同标签存入至L中；

将L中特征点标签对应的特征点最少的类别记为L_min，然后以L_min为基准，将D和L中的所有特征类别中的特征点及对应的特征点标签进行随机删减，删减后分别记为D'和L'；

将D'中的所有特征点旋转180度，再加入到D'中，其对应标签也加入L'中，得到特征点和特征点标签的集合记为D”和L”；

在D”中随机抽取80％的特征点作为训练数据，记为D”_train，将抽取的特征点对应的特征点标签作为训练标签，记为L”_train，抽取后剩下的特征点和特征点标签分别作为验证数据和验证标签，记为D”_eval和L”_eval；

(3)、构建用于计算特征类别的卷积神经网络

构建一个包含两层卷积层和两层全连接层的卷积神经网络，每层后面接一个ReLU层，最后一层全连接层接一层m'个输出的Softmax层；卷积神经网络的输出为[C，P]，C，P表示输入特征的分类结果和对应概率；

(4)、训练卷积神经网络

将D”_train和L”_train中的每一组特征点及对应的特征点标签作为输入，输入至卷积神经网络进行训练，经过多次重复训练后，再利用D”_eval和L”_eval中的一组特征点及对应的特征点标签进行验证，当卷积神经网络的分类准确率高于90％时完成训练；

(5)、利用卷积神经网络对后续帧特征点进行分类

(5.1)、提取内窥镜视频后续帧中待匹配的两帧，记为I_t、I_q；

(5.2)、提取I_t、I_q中的特征点数据集合，分别记为D_t、D_q，其中，D_t＝[D_t1,D_t2,…,D_tλ,…D_tH]，D_q＝[D_q1,D_q2,…,D_qλ,…D_qH]，λ＝1,2,…,H，H表示特征点总数，D_tλ表示I_t中第λ个特征点的特征表述，D_qλ表示I_q中第λ个特征点的特征表述；

(5.3)、将I_t、I_q中的每个特征点分别输入至训练好的卷积神经网络，得到每个特征点的分类结果和对应概率，分类结果分别记为O_t、O_q，其中，O_t＝[O_t1,O_t2,…,O_tλ,…O_tH]，O_q＝[O_q1,O_q2,…,O_qλ,…O_qH]，O_tλ表示I_t中第λ个特征点的分类结果，O_qλ表示I_q中第λ个特征点的分类结果，O_tλ和O_qλ的具体形式为：O_tλ＝[C_tλ P_tλ]、O_qλ＝[C_qλ P_qλ]，C_tλ、C_qλ为第λ个特征点的分类类别，P_tλ、P_qλ为第λ个特征点的分类概率；

(6)、计算特征匹配结果

(6.1)、构建I_t、I_q两帧的匹配矩阵T_t、T_q，其中，m'为特征类别，表示第个类别在I_t中特征点信息，表示第个类别在I_q中特征点信息，和的具体形式为：表示第个类别在I_t中特征点序列，为其对应的分类概率，表示第个类别在I_q中特征点序列，为其对应的分类概率，的初值为-1，的初值为0；

(6.2)、更新匹配矩阵

根据步骤(5.3)的分类结果更新I_t、I_q两帧的匹配矩阵，第λ个特征点的分类类别C_tλ、C_qλ满足：C_tλ、C_qλ∈1,2,…,m'；

更新过程为：在I_t帧的分类结果O_t中，如果O_tλ中的P_tλ的值大于T_t中类别为C_tλ的概率值则令在I_q帧的分类结果O_q中，如果O_qλ中的P_qλ的值大于T_q中类别为C_tλ的概率值则令

(6.3)、计算特征匹配结果

构建I_t、I_q两帧的特征匹配结果矩阵M₀，M₀＝[M₀₁,M₀₂,…,M_0τ,…,M_0X]，τ＝1,2,…,X，X为匹配对总数，M_0τ为第τ个匹配对，M_0τ的具体形式为：M_0τ＝[M_0τt M_0τq]，M_0τt表示第τ个匹配对中一个特征在I_t中的特征序列，M_0τq表示第τ个匹配对中一个特征在I_q中的特征序列；

在匹配矩阵T_t、T_q中，如果中的的初值不为-1，则将所对应的两个特征点视为匹配，并将存入至M₀中的M_0τ；当匹配矩阵T_t、T_q中所有的比对完成后，得到最终的特征匹配结果。

2.根据权利要求1所述的基于卷积神经网络的特征匹配方法，其特征在于，所述特征类别m'的确定方法为：

m'＝m₀×σ

其中，m₀为第0帧中特征点的总数；σ为特征类别的选取阈值，σ的取值范围为：σ＝10％～30％。