[发明专利]一种判断消化内窥镜检查是否染色的方法及系统

说明书

本发明公开了一种判断消化内窥镜检查是否染色的方法及系统，所述方法包括以下步骤：获取消化道内窥镜操作过程中实时采集的连续视频帧；基于预先训练的染色动作识别模型，判断是否存在染色动作；若存在染色动作，将所述染色动作对应的视频帧输入预先训练的染色类别识别模型，判断该染色动作相应的染色类别。本发明能够智能判断内窥镜检查过程中是否进行染色并自动记录，以及向医师进行提示。

技术领域

本发明属于人工智能技术领域，尤其涉及一种判断消化内窥镜检查是否染色的方法及系统。

背景技术

本部分的陈述仅仅是提供了与本公开相关的背景技术信息，不必然构成在先技术。

由于消化内窥镜检查中经常要用到的染色技术来增加病变的检出率，尤其对于一些食管癌、胃癌等消化道肿瘤高危人群，在内镜检查时要求用化学染色(如冰醋酸、卢戈氏碘、靛胭脂、龙胆紫、亚甲蓝等)或是电子染色(NBI、I-SCAN、OE等)来增加病变检出率。

而实际操作中，多数医师会忽视内镜染色的重要性，而对于消化道肿瘤高危人群没有进行染色，导致了病变漏诊的可能性增加。

并且，目前通过染色技术进行消化道内窥镜检查时，对于是否染色，均是人为进行记录。若在内窥镜检查过程中进行染色，手动记录对于操作医师而言十分不便。

发明内容

为克服上述现有技术的不足，本发明提供了一种判断消化内窥镜检查是否染色的方法及系统。

为实现上述目的，本发明的一个或多个实施例提供了如下技术方案：

一种判断消化内窥镜检查是否染色的方法，包括以下步骤：

获取消化道内窥镜操作过程中实时采集的连续视频帧；

基于预先训练的染色动作识别模型，判断是否存在染色动作；

若存在染色动作，将所述染色动作对应的视频帧输入预先训练的染色类别识别模型，判断该染色动作相应的染色类别。

进一步地，获取实时采集的连续视频帧后，还进行降帧预处理。

进一步地，若经染色类别识别模型判断出染色类别为电子染色，还将所述染色动作对应的视频帧按照一张未染色和一张染色进行分组，将多组视频帧输入预先训练的电子染色二次确认模型，确定所述电子染色的类别。

进一步地，所述染色动作识别模型的构建方法包括：

获取染色视频，截取包含染色动作的视频段，并展开成单帧图像；

对得到的单帧图像进行均匀采样得到染色动作训练数据集；

采用染色动作训练数据集训练三维卷积网络，得到染色动作识别模型。

进一步地，所述染色类别识别模型的构建方法包括：

获取包含各类染色图像的染色类别训练数据集，且各类染色图像均包括多幅；

采用染色类别训练数据集训练卷积神经网络，得到染色类别识别模型。

进一步地，所述电子染色二次确认模型的构建方法包括：

获取电子染色类别训练集，所述电子染色类别训练集中的每个样本包括针对同一部位的染色前后2张图像；

采用电子染色类别训练集训练全连接神经网络，得到电子染色类别二次确认模型。

进一步地，对于内窥镜检查过程中识别出的染色动作和染色类别进行自动记录；若整个内窥镜检查过程中没有检测到染色动作，判断病人是否是消化道肿瘤高危病人，若是，生成警示消息并进行输出。

一个或多个实施例提供了一种判断消化内窥镜检查是否染色的系统，包括：