[发明专利]一种基于深度学习模型GPT-2的脓毒症早期预警方法

权利要求书

1.一种基于深度学习模型GPT-2的脓毒症早期预警方法，其特征在所述方法包括如下步骤：

步骤1：从电子病历或者医疗数据集中提取患者进入ICU后若干天的多个预测特征变量序列，以时间为顺序区分这些特征变量序列；

步骤2：对提取到的患者数据进行预处理；

步骤3：数据预处理之后，输入到GPT-2模型中，所述GPT-2模型包括输入模块、处理模块、输出模块三个模块，其中：

所述输入模块主要由嵌入层组成，用来将经过数据预处理后的临床医疗数据转化为深度学习模型可以处理的时间序列；

所述处理模块主要由自注意力机制层和全连接前馈神经网络层组成，核心作用是对输入模块得到的时间序列进行非线性的复杂变换，挖掘与脓毒症患病相关的潜在特征，将得到的特征全部组合起来表示患者当前的病情表示；

所述输出模块主要由全连接前馈神经网络层组成，将从处理模块输出映射为一个概率值，该概率值表示模型根据患者到目前为止的临床数据所预测出的患者在接下来的时间内患有脓毒症的概率；

具体步骤如下：

(1)给定输入X＝(x₁,x₂,...,x_t)和标签Y＝(y₁,y₂,...,y_t)，其中：t是提取ICU病人数据的最大时间跨度，x_i代表某ICU病人第i天的特征向量序列取值集合，y_i代表输入的ICU病人第i天是否患脓毒症；

(2)将X和Y输入到GPT-2模型的输入模块中，将输入的特征向量看做是不同的词向量，输入到嵌入层得到特征向量的嵌入表示h₀＝XW_e，其中：W_e是经过训练得到的每个特征的嵌入向量表示；

(3)将h₀传入GPT-2模型的处理模块，得到：

h_m＝gpt_layer(h_m-1),m∈[1,t]，

其中：h_m代表病人在ICU的m天内的特征向量的表示，h_m-1是病人在ICU的m-1天内的特征向量的表示；

(4)将从处理模块得到的h_m输入到GPT-2模型的输出模块，预测标签y_m：

P(y_m|x₁,x₂,...,x_m)＝sigmoid(h_mW_y)，

其中：y_m表示第m天的预测结果，W_y表示预测输出时的参数矩阵

步骤4：对GPT-2模型进行训练，通过训练找到最理想的参数，不断调优，使得GPT-2模型效果稳定且最佳；

步骤5：GPT-2模型经过训练之后，将病患最新的临床数据与以往的临床表现结合起来进行脓毒症患病预测。

2.根据权利要求1所述的基于深度学习模型GPT-2的脓毒症早期预警方法，其特征在所述预测特征变量序列是一个高纬度的随时间变化的序列，主要表现为：选定所需要的时间跨度，以天数为单位提取进入ICU病房的病患的时间跨度内的特征变量值，组成若干个随时间变化的特征变量序列。

3.根据权利要求2所述的基于深度学习模型GPT-2的脓毒症早期预警方法，其特征在所述特征变量主要包括生命体征变量、实验室测量指标、药物记录、人口统计学信息。

4.根据权利要求1所述的基于深度学习模型GPT-2的脓毒症早期预警方法，其特征在所述预处理包括变量筛选、缺失值填充、异常值处理、特征提取、样本归一化处理、不平衡样本的处理。

5.根据权利要求1所述的基于深度学习模型GPT-2的脓毒症早期预警方法，其特征在所述步骤4的具体步骤如下：

(1)将数据集划分为训练集、验证集和测试集，其中：GPT-2模型只在训练集上训练，验证集仅用于超参数调整，测试集仅用于对GPT-2模型的效果进行评估；

(2)采用二元交叉熵损失函数对GPT-2模型进行训练，二元交叉熵损失函数公式为：

其中，p(y_i|x)为在当前输入下病人患脓毒症的概率；

(3)使用精准度P、召回率R、F1-score值F1和ROC_AUC分数对GPT-2模型进行评估：

其中：T_p是正确地预测出患病的样本个数，F_p是错误地预测出患病的样本个数，F_n是错误地预测出不患病的样本个数；ROC曲线是以FPR为横坐标，TPR即R为纵坐标画出来的曲线，AUC为ROC曲线与横轴围成的面积，

(4)修改在样本上训练的轮次epoch的值，对GPT-2模型经过反复训连调优，如果GPT-2模型的损失值基本稳定或者AUC值不再上升且没有出现过拟合的情况时，终止GPT-2模型的训练。