[发明专利]基于强化学习的糖尿病患者血糖管理方法、系统、介质及终端

说明书

本发明提供一种基于强化学习的糖尿病患者血糖管理方法、系统、介质及终端；所述方法包括以下步骤：基于强化学习算法训练决策网络模型，以获取训练好的决策网络模型；获取糖尿病患者的当前状态信息；将当前状态信息发送至训练好的决策网络模型，以使训练好的决策网络模型基于当前状态信息，确定下一未来时刻对应糖尿病患者的胰岛素注射量，实现对糖尿病患者的血糖管理；本发明基于糖尿病患者的历史血糖数据和未来的碳水化合物摄入量以强化学习算法来训练决策网络模型，从而实现从糖尿病患者历史的信息中利用到了碳水化合物和血糖变化之间的关系，达到了更好控制血糖的目的，能更好的适应碳水化合物摄入时间、摄入量不规律的情况。

技术领域

本发明涉及物理领域，尤其涉及计量技术，特别是一种基于强化学习的糖尿病患者血糖管理方法、系统、介质及终端。

背景技术

糖尿病已经成为了严重危害国民身体健康的慢性疾病之一，由于糖尿病本身是难以治愈的，并且相关的并发症会给患者带来严重的影响，因此糖尿病的治疗逐渐成了关注的重点。

人工胰腺是目前实现闭环控制糖尿病患者血糖的最好方法之一，它由三部分组成，持续性血糖监测装置(CGMS)，胰岛素泵和控制算法；其中，CGMS主要从患者处收集相关的血糖数据，控制算法根据CGMS获得的时间序列的数据，将这些数据输入到预设的算法中，从而控制胰岛素泵输出的胰岛素剂量，实现血糖的稳定控制，合理的控制算法能够使患者血糖尽可能的保持在正常区间和稳定，因此很多学者对控制算法进行了研究；传统的控制算法有比例-积分-控制(PID)、模型预测控制(MPC)、最优控制、模糊控制等，许多传统的控制算法也可被用于糖尿病血糖管理中。

最早的人工胰腺血糖闭环控制算法采用的是比例-积分-控制(PID)控制，Gianni等人利用PID方法通过合理设计当前时刻的血糖浓度和目标血糖浓度的偏差、偏差的积分以及血糖浓度的变化率，获得了不错的血糖控制效果；一些研究采用了模糊逻辑控制，例如Grant、Atlas等人，模糊逻辑控制利用了专家知识，算法按照某些制定好的模糊规则进行决策，它的这个特性是控制算法具有一定的鲁棒性，但是因为使用了模糊的概念，并未考虑到患者之间血糖-胰岛素动态存在差异，因此，在实用方面存在缺陷。

目前，广泛使用在人工胰腺血糖控制的算法是模型预测控制(MPC)算法，Kovatchev等人和Simone等人的研究都取得了积极的结果；Wang等人将MPC算法与迭代学习控制(1LC)算法结合起来，使胰岛素输注速率平滑变化，MPC算法基于过去的血糖浓度以及胰岛素输注数据，对患者未来的血糖水平进行预测，反过来计算得到当前最合适的胰岛素基础率。

除了传统的控制算法之外，基于深度学习的控制算法也逐渐得到了越来越多的关注，而强化学习就是基于深度学习的重要的控制算法之一，强化学习方法能通过与环境进行交互，持续的学习环境的特征，改进模型的效果，并且可以绕过对环境的建模过程，避免建模的误差，因为，也被逐渐用于建立血糖控制模型。