[发明专利]一种基于深度强化学习的人工智能胶囊内镜检查方法及系统

权利要求书

1.一种基于深度强化学习的人工智能胶囊内镜检查系统，其特征在于，该系统包括以下模块：

状态获取模块：用于根据胶囊内镜的摄像头采集胃腔环境的图像，对图像进行处理，提取图像的特征值，进而获得当前状态；

深度强化学习模块：用于获取训练数据，将其输入深度强化学习模块，训练深度强化学习模型；并将特征值输入深度强化学习模型进行处理，得到胶囊内镜可执行的最大价值对应的动作；

控制指令生成与执行模块：利用深度强化学习模块输出的最大价值动作，根据胶囊内镜的状态生成相应的控制指令，调整胶囊内镜的体外梯度线圈和匀场线圈的电压，改变磁场强度，控制胶囊内镜在复杂的胃腔环境中进行自主运动；

通信模块：用于实现状态获取模块、深度强化学习模块、控制指令生成与执行模块之间的连接，并实现它们之间的数据通信；

通过该系统的各模块执行基于深度强化学习的人工智能胶囊内镜检查方法，该方法包括以下步骤：

步骤S10、胶囊内镜通过摄像头采集胃腔环境的图像，对图像进行处理，提取图像的特征值，将其作为运动前状态；

步骤S20、将图像特征值输入预先训练的深度强化学习模型中，得到运动前状态下，胶囊内镜可执行的最大价值动作；

步骤S30、利用深度强化学习模型输出的最大价值动作，根据胶囊内镜的状态生成相应的控制指令，控制胶囊内镜在复杂的胃腔环境中进行自主运动；

步骤S40、自主运动动作完成后，根据实际完成情况获取回报值；并判定胶囊内镜是否到达终点位置，若是，则本次检查结束；若否，则返回步骤S10重复执行，直至到达终点位置；

步骤S20中深度强化学习模型的训练方法具体为：

获取训练数据，包括运动前状态s，执行动作a，运动后状态s’，执行对应动作后的回报值r；

胶囊内镜通过摄像头采集图像，处理图像，提取特征值，将此作为运动前状态s，任意选择一个动作a执行；若胶囊内镜执行动作a到达或接近期望位置，给予相应的奖励值；反之，若胶囊内镜执行动作a后偏离期望位置，则给予相应的惩罚值；

将训练数据中的运动前状态s输入预训练的深度强化学习模型并反向传播，得到Q值；将训练数据中的运动后状态s’输入预训练的深度强化学习模型并反向传播，得到maxQ’值；将运动前状态s的Q值更新为r+γmax Q’，其中γ为折扣因子；

其中，反向传播过程采用梯度下降法进行迭代更新；Q值计算方法使用贝尔曼方程；执行动作的选择采用ε-greedy方式，随机选取动作。

2.根据权利要求1所述的基于深度强化学习的人工智能胶囊内镜检查系统，其特征在于，步骤S10中提取图像的特征值的方法具体为：利用卷积神经网络对图像进行卷积处理，得到卷积特征。

3.根据权利要求1所述的基于深度强化学习的人工智能胶囊内镜检查系统，其特征在于，步骤S20中深度强化学习模型的训练方法还包括：

根据选择的算法，设计深度神经网络，构建合适的深度强化学习模型，算法包括：DQN算法、A3C算法和UNREAL算法。

4.根据权利要求1所述的基于深度强化学习的人工智能胶囊内镜检查系统，其特征在于，步骤S40中获取的回报值用于对深度强化学习模型进行优化，其方法具体为：

自主运动动作完成后，根据期望和实际完成情况获取回报值，并对深度强化学习模型参数进行更新，不断调整优化深度强化学习模型；

在进行胶囊内镜实际检查时，训练好的深度强化学习模型会给出最大价值动作供胶囊内镜执行，将实际操作中的运动前状态s，执行动作a，运动后状态s’，执行对应动作后的回报值r作为经验，供已经训练好的深度强化学习模型进行学习更新，即重复步骤S20的操作，不断完善深度强化学习模型。