[发明专利]一种基于深度强化学习的人工智能胶囊内镜检查方法及系统

说明书

本发明公开了一种基于深度强化学习的人工智能胶囊内镜检查方法及系统，该方法包括：胶囊内镜采集胃腔环境的图像，提取图像的特征值；将图像特征值输入预先训练的深度强化学习模型中，得到可执行的最大价值动作；利用深度强化学习模型输出的最大价值动作，根据胶囊内镜的状态生成相应的控制指令，控制胶囊内镜在复杂的胃腔环境中进行自主运动；自主运动动作完成后，根据实际完成情况获取回报值；并判定胶囊内镜是否到达终点位置。本发明旨在通过训练，使胶囊内镜能在复杂的高度动态的胃腔环境中，作出正确的决策；能控制胶囊内镜在复杂的胃腔环境中进行自主运动，智能化地、高效地、不遗漏地实现对全胃的检查。

技术领域

本发明涉及医疗器械领域，尤其涉及一种基于深度强化学习的人工智能胶囊内镜检查方法及系统。

背景技术

我国是胃病大国，尤其是胃癌，发病率和死亡率一直居高不下。现有技术中,内镜检查在消化系统疾病诊断中具有重要意义。

传统的电子胃镜作为一项侵入性检查，在实施过程中，会刺激患者咽喉，给患者带来生理不适，患者的依从性降低，耽误病情的早期诊断；此外，对医生操作水平和经验要求较高，培训一名优秀的消化内镜医生周期长耗费大；新世纪初，胶囊内镜登上舞台。患者只需吞入一颗小小的胶囊，就能在消化道的蠕动下历经整个消化过程，便于医生了解患者消化道内具体情况。胶囊内镜需要拍摄到胃底，贲门，胃体中上部，胃体下部，胃角，胃窦等部位的各个象限，才能避免漏诊。但是，胃是一个空腔器官，体积较大，胶囊内镜通过速度快，很难完整拍摄到上述部位的图像，存在许多观察盲区；磁控胶囊内镜是一种由医师推动操控杆遥控改变外部磁场来操纵胃内胶囊内镜的诊断工具，实现小步长(2mm)平移和小角度(3°)转动，提高了胃腔检查的完整度，已应用于少数高端体检中。但磁场对胶囊内镜的磁力取决磁铁距离胶囊的角度和距离，这要求操控者有丰富的经验能适应这些变化。

我们拟在现有胶囊内镜检查技术中，加入深度强化学习算法和动作控制模块，使内镜检查不再需要医生操作，能自己做出正确决策，不遗漏地完成全胃检查，减少医生工作量，节约时间、金钱和脑力成本。此外，本发明提供的检查技术安全舒适，检查过程无痛无创，易于被患者接受，有望尽早发现消化道疾病。

发明内容

本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种基于深度强化学习的人工智能胶囊内镜检查方法及系统。

本发明解决其技术问题所采用的技术方案是：

本发明提供一种基于深度强化学习的人工智能胶囊内镜检查方法，该方法包括以下步骤：

步骤S10、胶囊内镜通过摄像头采集胃腔环境的图像，对图像进行处理，提取图像的特征值，将其作为运动前状态；

步骤S20、将图像特征值输入预先训练的深度强化学习模型中，得到运动前状态下，胶囊内镜可执行的最大价值动作；

步骤S30、利用深度强化学习模型输出的最大价值动作，根据胶囊内镜的状态生成相应的控制指令，控制胶囊内镜在复杂的胃腔环境中进行自主运动；

步骤S40、自主运动动作完成后，根据实际完成情况获取回报值；并判定胶囊内镜是否到达终点位置，若是，则本次检查结束；若否，则返回步骤S10重复执行，直至到达终点位置。

进一步地，本发明的步骤S10中提取图像的特征值的方法具体为：利用卷积神经网络对图像进行卷积处理，得到卷积特征。

进一步地，本发明的步骤S20中深度强化学习模型的训练方法具体为：

获取训练数据，包括运动前状态s，执行动作a，运动后状态s’，执行对应动作后的回报值r；

胶囊内镜通过摄像头采集图像，处理图像，提取特征值，将此作为运动前状态s，任意选择一个动作a执行；若胶囊内镜执行动作a到达或接近期望位置，给予相应的奖励值；反之，若胶囊内镜执行动作a后偏离期望位置，则给予相应的惩罚值；