[发明专利]一种基于医生反馈与强化学习的医疗问答回复方法及系统

权利要求书

1.一种基于医生反馈与强化学习的医疗问答回复生成方法，其特征在于，包括以下步骤：

S1利用大规模医学文档数据集预训练获得中文医疗文本大模型；

S2利用大规模医疗问答对话数据集对步骤1所得中文医疗文本大模型进一步监督微调得到中文医疗问答基准模型；

S3输入患者问题至步骤2获得的中文医疗问答基准模型生成多个机器回复，医生对多个机器回复进行医学反馈标注，基于医生的医学反馈标注，训练获得自动医学回复效果评价模型；

S4采用强化学习方法进一步训练后获得医疗问答回复生成模型；

所述的步骤S1包括以下步骤：

S1.1收集医疗领域的医学文档，将收集到的医学文档整理成医疗文本，再整合成大规模的医学文档数据集；

S1.2将步骤S1.1所得医学文档数据集中各医疗文本逐一输入到医学输入嵌入层，预处理成医疗文本矩阵；

S1.3将预处理后的医疗文本矩阵输入含有多个Encoder层堆叠的编码器，输出同尺寸的医疗上下文语义矩阵，新建历史医学回复矩阵；

S1.4将步骤S1.3所得医疗上下文语义矩阵与历史医学回复矩阵输入到一个含有多个Decoder层堆叠的解码器，将解码器输出的医学回复向量追加到历史医学回复矩阵中；

S1.5将解码器生成的每个医学回复向量都经过输出层，实时输出医学单词，最终组成一个医学文本输出；

S1.6将步骤S1.2～S1.5的医学输入嵌入层、编码器、解码器、输出层四个部件组合得到中文医疗文本大模型；

所述的步骤S1.3中编码器的每个Encoder层均输出一个与输入同尺寸的隐层矩阵，每个Encoder层均含有多头注意力机制层和全连接层这两个子层，每个子层的输出均带有一个残差连接，并且经过层归一化处理；

所述Encoder层的多头注意力机制层的每个注意力头包含、、三个待学习的矩阵，其中，为医疗文本矩阵每一行的长度，和分别均为每个医疗文本矩阵经过或、矩阵线性变换后的向量的维度，将输入的医疗文本矩阵与、、逐个相乘分别得到Q、K、V三个矩阵然后进行输出运算后得到单个注意力头的输出，输出运算公式为：

；

其中，为的转置矩阵，为归一化指数函数；

将多个注意力头的输出并接后获得多头注意力机制层的输出，输出的计算公式为：

；

其中，为注意力头的数量,为第个注意力头的Q、K、V矩阵，表示第个注意力头的大小为的输出矩阵，为单词数量，为待学习矩阵，为横向并接函数；

所述的全连接层为两层全连接神经网络，所述全连接层的输出的计算公式为：

；

其中，为输入矩阵，均为模型待训练参数，为中间隐藏层神经元数量；

所述的步骤S3包括以下步骤：

S3.1基于中文医疗问答基准模型，给定输入患者问题，生成个机器回复，得到，其中是单个机器回复，对个问题进行上述操作并堆叠则得到一个机器回复矩阵；

S3.2医生对机器回复矩阵中每个输入患者问题的个机器回复向量的质量进行排序，得到排序后的机器回复，然后得到个向量，将每个向量划分成个医生反馈比较对，构建获得医生反馈数据集；

S3.3基于医生反馈数据集，训练获得自动医学回复效果评价模型，所述自动医学回复效果评价模型的损失函数的计算公式为：

；

其中，为在模型参数为的情况下自动医学回复效果评价模型对患者问题和单个机器回复的标量输出评分，为医生反馈数据集的标号。

2.根据权利要求1所述的一种基于医生反馈与强化学习的医疗问答回复生成方法，其特征在于，所述步骤S1.2中的医学输入嵌入层包括医学词嵌入层、线性变换层和相对位置嵌入层，所述的医学词嵌入层是通过查医学词表将每个医学单词转变为医学词向量，纵向堆叠并接后得到医疗文本矩阵，所述的线性变换层是通过线性变换减小上述医疗文本矩阵每一行的长度，所述的相对位置嵌入层是将模型学习到的相对位置信息加入到医疗文本矩阵的每一行。

3.根据权利要求1所述的一种基于医生反馈与强化学习的医疗问答回复生成方法，其特征在于，所述的步骤S2包括以下步骤：

S2.1收集医疗领域的问答数据集，整合成大规模医疗问答对话数据集；

S2.2基于大规模医疗问答对话数据集，对预先训练好的中文医疗文本大模型进行监督微调得到中文医疗问答基准模型。