[发明专利]一种基于深度学习的糖尿病与高血压概率计算方法

权利要求书

1.一种基于深度学习的糖尿病与高血压概率计算系统，其特征在于，包括存储在计算机上的糖尿病与高血压多任务概率计算模型，所述多任务概率计算模型包含由全连接层搭建的数字特征提取器和以BERT模型为主体的文本特征提取器；

所述数字特征提取器中全连接层的层数为2～4层，每一层的输入输出矩阵均为2维矩阵，且每一层全连接层后对输出进行降维操作；所述文本特征提取器中BERT模型是以Transformer Block为基本单元的纵向叠加而成的双向编码结构，Transformer Block的数量为12～24个，且每一个Transformer Block对应有12～16个Multi-Head Attention和768～1024个隐藏层；

所述糖尿病与高血压概率计算方法系统在计算概率时执行以下步骤：

(1)采集用户体检数据后进行数据清洗和预处理，再对数据中的数字数据和文本数据分别进行编码操作，得到训练数据；

(2)使用训练数据对上述多任务概率计算模型进行训练，根据模型计算的结果与糖尿病、高血压标签的重合情况对网络参数进行优化，直到模型收敛；具体步骤为：

(2-1)将训练数据中的数字特征向量和文本字向量分别输入数字特征提取器和文本特征提取器，得到特征提取后的向量V₁与V₂；

(2-2)将提取到的V₁与V₂使用全连接层或Transformer Block进行特征融合，得到最终的融合向量V₃；

(2-3)将得到的融合向量V₃通过两个softmax层计算概率，再使用两个Binary CrossEntropy Loss或两个Focal Loss计算与糖尿病、高血压标签的偏差；

(2-4)将步骤(2-3)计算得到的Loss，反向传播，使用优化算法SGD或Adam进行优化，收敛后得到最终的多任务预测模型；

(3)将需要计算糖尿病与高血压概率的体检数据进行清洗、预处理和编码操作后输入上述训练完的模型，计算得到糖尿病概率与高血压概率。

2.根据权利要求1所述的基于深度学习的糖尿病与高血压概率计算系统，其特征在于，步骤(1)中，所述数据清洗包括：筛选体检数据中糖尿病与高血压相关的检查项，对检查项缺失多的体检数据进行删除，对检查项缺失少的体检数据进行填补，得到M个数字数据和N个文本数据；所述的预处理包括对数字数据进行归一化处理，对文本数据建立相应的字典。

3.根据权利要求2所述的基于深度学习的糖尿病与高血压概率计算系统，其特征在于，采用均值法、相邻值或数据分布采样法对检查项缺失少的体检数据进行填补。

4.根据权利要求1所述的基于深度学习的糖尿病与高血压概率计算系统，其特征在于，步骤(1)中，所述的编码操作的具体过程为：将数字数据生成M个K维且相互正交的基向量，基向量模长为1，将数字特征数值乘以对应的基向量，再将这些特征向量矢量相加，得到数字特征对应的向量，或直接以M个数字特征对应的数值得到数字特征对应的向量；将文本数据建立文本特征中的字典，使用word2vec方法预训练字向量，得到文本特征对应的L维字向量或字向量编码。

5.根据权利要求1所述的基于深度学习的糖尿病与高血压概率计算系统，其特征在于，步骤(2-3)中，所述的Binary Cross Entropy Loss的计算公式为：

其中，i为样本的序号，m为数据中的样本数量，为第i个样本标签，y_i为模型预测的第i个样本预测概率；

所述的FocalLoss的计算公式为：

其中，i为样本的序号，m为数据中的样本数量，为第i个样本标签，y_i为模型预测的第i个样本预测概率，α与γ均为平衡样本种类学习能力的加权。