[发明专利]基于深度学习的胶囊内窥镜影像识别方法、设备及介质

说明书

本发明提供了一种基于深度学习的胶囊内窥镜影像识别方法、设备及介质，所述方法包括：通过胶囊内窥镜按照时间生成顺序收集N幅原始图像；采用滑动窗口分割方法将N幅原始图像分割为大小相同的M组原始图像序列；解析N幅原始图像或解析M组原始图像序列形成M组RGB图像序列，以及解析N幅原始图像或解析M组RGB图像序列形成M组光流图像；每一所述RGB图像序列由RGB格式的图像数据构成，每一所述光流图像序列由通过计算相邻RGB图像的光流场所形成的图像数据构成；将所述RGB图像序列和所述光流图像序列分别输入到3D卷积神经网络模型以输出识别结果；所述识别结果为预设参数出现的概率值。本发明提高图像识别精度。

技术领域

本发明涉及医疗设备成像领域，尤其涉及一种基于深度学习的胶囊内窥镜影像识别方法、电子设备及可读存储介质。

背景技术

胶囊内窥镜是一种医疗设备，其将摄像头、无线传输天线等核心器件集成；并在体内的消化道内采集图像并同步传送到体外，以根据获得的图像数据进行医疗检查。胶囊内窥镜在检测过程中会采集几万张图像，大量的图像数据使得阅片工作变得艰巨且耗时；随着技术的发展，利用图像处理和计算机视觉技术进行病灶识别获得了广泛的关注。

现有技术中，公开号为CN103984957A的中国专利申请，公开了一种胶囊内窥镜图像可疑病变区域自动预警系统，该系统采用图像增强模块对图像进行自适应增强，再通过纹理特征提取模块对平坦性病变的纹理特征进行检测，最后用分类预警模块进行分类，实现了对小肠平坦性病变的检测和预警功能。

公开号为CN111462082A的中国专利申请，公开了一种病灶图片识别装置、方法、设备及可读存储介质，其利用训练好的2D目标深度学习模型对单张图像进行病灶识别。

现有技术所提及的方案都是对单张图像进行识别，识别过程中只能利用单张图像拍摄的信息，不能综合利用前后拍摄的图像信息；如此，单一角度拍摄的图像并不能直观的反映出病灶的整体情况，尤其是在某些特定角度下拍摄的消化道褶皱、胃壁等图像容易和息肉、隆起等病变相混淆；另外，现有技术不能同时获得拍摄内容的空间和时间信息，病灶识别的准确率较低。

发明内容

为解决上述技术问题，本发明的目的在于提供一种基于深度学习的胶囊内窥镜影像识别方法、设备及介质。

为了实现上述发明目的之一，本发明一实施方式提供一种基于深度学习的胶囊内窥镜影像识别方法，所述方法包括：通过胶囊内窥镜按照时间生成顺序收集N幅原始图像；

采用滑动窗口分割方法将N幅原始图像分割为大小相同的M组原始图像序列；

解析N幅原始图像或解析M组原始图像序列形成M组RGB图像序列，以及解析N幅原始图像或解析M组RGB图像序列形成M组光流图像；

每一所述RGB图像序列由RGB格式的图像数据构成，每一所述光流图像序列由通过计算相邻RGB图像的光流场所形成的图像数据构成；

将所述RGB图像序列和所述光流图像序列分别输入到3D卷积神经网络模型以输出识别结果；所述识别结果为预设参数出现的概率值；

其中，将所述RGB图像序列和所述光流图像序列分别输入到3D卷积神经网络模型以输出识别结果，包括：

所述3D卷积神经网络模型包括：RGB支路和光流支路；

将RGB图像序列输入RGB支路进行计算以输出第一分类概率；

将光流图像序列输入光流支路进行计算以输出第二分类概率；

对所述第一分类概率和所述第二分类概率进行融合形成所述识别结果；

；

，

;