[发明专利]内窥镜检查监控方法及装置

权利要求书

1.一种内窥镜检查监控方法，其特征在于，应用于与消化道内窥镜通信连接的计算机设备，所述方法包括：

基于预先训练的体内外识别模型和消化系统脏器预测模型对所述消化道内窥镜采集到的医学影像中的每一关键帧进行图像识别，得到图像识别结果和第一检查评分，其中，所述图像识别结果包括每一关键帧的消化系统脏器解剖部位，所述第一检查评分为所述消化道内窥镜在体内停留的时间对应的检查评分；

根据所述图像识别结果将消化系统脏器解剖部位为目标部位的关键帧作为消化内镜摄图，得到多个包括有目标部位的消化内镜摄图；

根据所述图像识别结果将每个消化内镜摄图填充在预先配置的图像填充区域中对应的目标部位的图像填充框中，并统计图像填充框的未填充数量，生成第二检查评分，其中，所述图像填充框包括有预设数量个图像填充框，每个图像填充框与每个目标部位一一对应；

对所述图像填充区域中填充的每个消化内镜摄图进行图像分析识别，并根据图像分析识别结果生成第三检查评分；

根据所述第一检查评分、第二检查评分以及第三检查评分生成内窥镜检查监控结果。

2.根据权利要求1所述的内窥镜检查监控方法，其特征在于，所述基于预先训练的体内外识别模型和消化系统脏器预测模型对所述消化道内窥镜采集到的医学影像中的每一关键帧进行图像识别，得到图像识别结果和第一检查评分的步骤，包括：

针对每一个从所述消化道内窥镜采集到的医学影像的单位时间视频流，获取所述单位时间视频流中的第一数量帧关键帧；

基于预先训练的体内外识别模型判断每一关键帧是否为上消化道内的图像关键帧，并根据判断结果得到上消化道内的图像关键帧以及所述消化道内窥镜在体内停留的时间；

基于预先训练的消化系统脏器预测模型对所述消化道内窥镜采集到的医学影像中的每一上消化道内的图像关键帧进行图像识别，得到图像识别结果；

根据预设的时间与检查评分的对应关系和所述消化道内窥镜在体内停留的时间，得到所述第一检查评分。

3.根据权利要求1所述的内窥镜检查监控方法，其特征在于，所述体内外识别模型通过如下方式训练得到：

搭建全连接深度学习网络；

获取各个上消化道的上消化道内部的正训练样本集和上消化道外部的负训练样本集；

基于所述各个上消化道的上消化道内部的正训练样本集和上消化道外部的负训练样本集训练所述全连接深度学习网络，得到所述体内外识别模型。

4.根据权利要求1所述的内窥镜检查监控方法，其特征在于，所述消化系统脏器预测模型通过如下方式训练得到：

搭建多个备选卷积神经网络；

获取各个消化系统脏器的不同消化系统脏器解剖部位的训练样本集、验证样本集和测试样本集，所述训练样本集包括标注有各个消化系统脏器的不同消化系统脏器解剖部位的多个检查图像样本；

基于各个消化系统脏器的不同消化系统脏器解剖部位的训练样本集和对应的验证样本集对每个备选卷积神经网络进行训练，并在检测到每个备选卷积神经网络的损失率稳定后停止训练，保存训练后的各个备选卷积神经网络；

将所述测试样本集分别输入到训练后的每个备选卷积神经网络中进行解剖部位预测，绘制每个备选卷积神经网络预测的ROC曲线；

计算每个备选卷积神经网络预测的ROC曲线的AUC面积，将AUC面积最大的备选卷积神经网络作为所述消化系统脏器预测模型。

5.根据权利要求1所述的内窥镜检查监控方法，其特征在于，所述根据所述图像识别结果将消化系统脏器解剖部位为目标部位的关键帧作为消化内镜摄图的步骤，包括：

根据所述图像识别结果判断每一关键帧的消化系统脏器解剖部位是否为目标部位；

若是，则将该关键帧作为消化内镜摄图。