[发明专利]基于逆强化学习的ICU呼吸机与镇静剂管理方法及介质

说明书

本发明的一种基于逆强化学习的ICU呼吸机与镇静剂管理方法及介质，其方法包括对获取的医疗数据根据医疗决策场景的需求进行分析重构，将数据脱敏处理，并进行归一化处理，建立相关数据集；建立逆强化学习模型；根据预处理后的数据集，将生理状态以及医疗干预手段建立MDP模型，根据变分贝叶斯理论，确定模型优化目标，从专家的过去诊断记录中获取解释该策略的奖惩函数；模型训练并优化，利用训练后的模型对ICU呼吸机与镇静剂管理进行管理。本方法采用逆强化学习方法，可以考虑长期以来的动作对患者带来的影响，而不是追求单步的反馈，这和医疗场景中，以患者最终治愈为目标相契合，实现贯序决策。

技术领域

本发明涉及噪声标签处理技术领域，具体涉及一种基于逆强化学习的ICU呼吸机与镇静剂管理方法及存储介质。

背景技术

深度强化学习将深度学习的感知能力和强化学习的决策能力相结合，是智能体(Agent)与环境之间一种学习和反馈。可以通过深度强化学习来实现经验的快速积累，并针对实时情况做出动态规划。现有工作使用off-policy 强化学习算法FQI 和NFQI 来根据提供的病人历史轨迹选择适当的干预措施。首先，这项工作是集中式的工作没有办法在保证患者隐私的情况下实现分布式场景下的部署；另外该工作使用的是传统的前向强化学习方法，需要设定正确合理的奖励函数，但事实上，医疗环境的奖励函数的设计往往是十分困难的，需要专业知识的干预，患者对于医疗干预的反馈也无法直观的转换为数字形式；最后，该工作最后的实验表现也并不够优异，模型对于患者状态的理解能力还是有限，无法很好拟合策略函数。

而现有工作尝试利用贝叶斯逆强化学习方法，通过推断特定潜在奖励函数内部的权重来平衡评价标准的各个方面。首先，虽然该方法利用了逆强化学习的方法，但依旧是依赖于现有的奖励函数设计工作，该工作在该奖励函数的基础上，利用逆强化学习的办法把握不同的奖惩之间的权重关系，因此该方法依旧需要专业知识干预，同样面临着奖励函数设计的挑战；另外，该方法对于镇静剂的设计简单的设定为芬太尼，并不完全贴合实际的医疗场景，且该方法的镇静剂预测表现同样并不出色。

发明内容

本发明提出的一种基于逆强化学习的ICU呼吸机与镇静剂管理方法，可至少解决上述技术问题之一。

为实现上述目的，本发明采用了以下技术方案：

一种基于逆强化学习的ICU呼吸机与镇静剂管理方法，包括以下步骤，

步骤1、数据建模；对获取的医疗数据根据医疗决策场景的需求进行分析重构，将数据脱敏处理，并进行归一化处理，建立相关数据集；

步骤2、建立逆强化学习模型；根据预处理后的数据集，将生理状态以及医疗干预手段建立MDP模型，根据变分贝叶斯理论，确定模型优化目标，从专家的过去诊断记录中获取能够解释医生行为动作的奖励函数；；

步骤3、模型训练：根据从过往轨迹数据中推测奖惩函数正向推测治疗策略，并不断优化该策略和示例策略间的差距；

步骤4、模型测试；

最后，利用训练后的模型对ICU呼吸机与镇静剂管理进行管理。

进一步地，所述步骤1的数据建模，具体包括：

步骤1.1、将患者的生理指标看作为状态，在状态空间设计过程中，将一些能观察到的生理数据值纳入到评估病人状态的特征中；状态集包含患者以每小时为单位的多维生理状态数据；

步骤1.2、对患者所反馈的状态所采取的医疗干预手段，当给定患者t 时刻的状态后，训练得到的智能体面对这种状态所选择的医疗动作；对于动作空间来说，设动作表示在时间t采用的治疗动作，其中表示呼吸机的状态，而表示注射的镇静剂剂量，因此动作空间表示为：