[发明专利]一种基于卷积神经网络的特征匹配方法

摘要

本发明公开了一种基于卷积神经网络的特征匹配方法，利用内窥镜初始视频序列获得训练数据，再利用训练数据构造用于后续帧特征点分类的卷积神经网络模型，并利用训练数据训练卷积神经网络模型，最后，后续帧特征通过网络输出分类结果实现特征匹配，具有简单、适用性好等特点，符合当前临床医疗发展的需要。

主权项

1.一种基于卷积神经网络的特征匹配方法，其特征在于，包括以下步骤：(1)、特征提取将内窥镜获取的视频序列的前N+1帧依次标记为I₀,I₁,…,I_N，然后提取前N+1帧的特征点，记为F₀,F₁,…,F_N，其中，第i帧的特征点集合F_i＝[F_i1,F_i2,…,F_im,…,F_iM]，i＝0,1,2,…,N，m＝1,2,…,M，F_im表示第i帧中第m个特征点的特征表述，具体形式为：F_im＝[F_im1 F_im2]，F_im1为第m个特征点的位置向量，F_im2为第m个特征点的描述向量；(2)、利用特征点集合生成训练数据集(2.1)、将第0帧的特征点集合分别与其后N帧的特征点集合做特征匹配，特征匹配结果分别记为M₁,M₂,…,M_i,…,M_N，i＝1,2,…,N；其中，第i帧与第0帧的特征匹配结果为M_i＝[M_i1,M_i2,…,M_in]，M_in为第n个匹配对，具体形式为：M_in＝[M_in1 M_in2]其中，M_in1为匹配对中的一个特征在第0帧中的特征，取值为该特征在第0帧特征总数中所处的特征序列；M_in2为匹配对中的一个特征在第i帧中的特征，取值为该特征在第i帧特征总数中所处的特征序列；(2.2)、获取训练数据设置集合D和L，D和L分别用于存放训练数据的特征点和特征点标签；统计特征匹配结果中匹配对在第0帧中出现频率最高的m'种特征序列，将其视为m'个特征类别；然后将第0帧中这m'个特征类别的特征点及每个特征点在后面N帧中匹配的特征点存入至D中，并将相同特征点贴上相同标签存入至L中；将L中特征点标签对应的特征点最少的类别记为L_min，然后以L_min为基准，将D和L中的所有特征类别中的特征点及对应的特征点标签进行随机删减，删减后分别记为D'和L'；将D'中的所有特征点旋转180度，再加入到D'中，其对应标签也加入L'中，得到特征点和特征点标签的集合记为D”和L”；在D”中随机抽取80％的特征点作为训练数据，记为D”_train，将抽取的特征点对应的特征点标签作为训练标签，记为L”_train，抽取后剩下的特征点和特征点标签分别作为验证数据和验证标签，记为D”_eval和L”_eval；(3)、构建用于计算特征类别的卷积神经网络构建一个包含两层卷积层和两层全连接层的卷积神经网络，每层后面接一个ReLU层，最后一层全连接层接一层m'个输出的Softmax层；卷积神经网络的输出为[C，P]；(4)、训练卷积神经网络将D”_train和L”_train中的每一组特征点及对应的特征点标签作为输入，输入至卷积神经网络进行训练，经过多次重复训练后，再利用D”_eval和L”_eval中的一组特征点及对应的特征点标签进行验证，当卷积神经网络的分类准确率高于90％时完成训练；(5)、利用卷积神经网络对后续帧特征点进行分类(5.1)、提取内窥镜视频后续帧中待匹配的两帧，记为I_t、I_q；(5.2)、提取I_t、I_q中的特征点数据集合，分别记为D_t、D_q，其中，D_t＝[D_t1,D_t2,…,D_tλ,…D_tH]，D_q＝[D_q1,D_q2,…,D_qλ,…D_qH]，λ＝1,2,…,H，H特征点总数，D_tλ表示I_t中第λ个特征点的特征表述，D_qλ表示I_q中第λ个特征点的特征表述；(5.3)、将I_t、I_q中的每个特征点分别输入至训练好的卷积神经网络，得到每个特征点的分类结果和对应概率，分类结果分别记为O_t、O_q，其中，O_t＝[O_t1,O_t2,…,O_tλ,…O_tH]，O_q＝[O_q1,O_q2,…,O_qλ,…O_qH]，O_tλ表示I_t中第λ个特征点的分类结果，O_qλ表示I_q中第λ个特征点的分类结果，O_tλ和O_qλ的具体形式为：O_tλ＝[C_tλ P_tλ]、O_qλ＝[C_qλ P_qλ]，C_tλ、C_qλ为第λ个特征点的分类类别，P_tλ、P_qλ为第λ个特征点的分类概率；(6)、计算特征匹配结果(6.1)、构建I_t、I_q两帧的匹配矩阵T_t、T_q，其中，m'为特征类别，表示第个类别在I_t中特征点信息，表示第个类别在I_q中特征点信息，和的具体形式为：表示第个类别在I_t中特征点序列，为其对应的分类概率，表示第个类别在I_q中特征点序列，为其对应的分类概率，的初值为‑1，的初值为0；(6.2)、更新匹配矩阵根据步骤(5.3)的分类结果更新I_t、I_q两帧的匹配矩阵，第λ个特征点的分类类别C_tλ、C_qλ满足：C_tλ、C_qλ∈1,2,…,m'；更新过程为：在I_t帧的分类结果O_t中，如果O_tλ中的P_tλ的值大于T_t中类别为C_tλ的概率值则令在I_q帧的分类结果O_q中，如果O_qλ中的P_qλ的值大于T_q中类别为C_tλ的概率值则令(6.3)、计算特征匹配结果构建I_t、I_q两帧的特征匹配结果矩阵M₀，M₀＝[M₀₁,M₀₂,…,M_0τ,…,M_0X]，τ＝1,2,…,X，X为匹配对总数，M_0τ为第τ个匹配对，M_0τ的具体形式为：M_0τ＝[M_0τt M_0τq]M_0τt表示第τ个匹配对中一个特征在I_t中的特征序列，M_0τq表示第τ个匹配对中一个特征在I_q中的特征序列；在匹配矩阵T_t、T_q中，如果中的的初值不为‑1，则将所对应的两个特征点视为匹配，并将存入至M₀中的M_0τ；当匹配矩阵T_t、T_q中所有的比对完成后，得到最终的特征匹配结果。