[发明专利]控制方法以及医学系统

说明书

一种强化学习系统的控制方法包含下列步骤。强化学习系统获得有关互动系统的训练数据，互动系统与强化学习智能体互动。训练神经网络模型以最大化强化学习智能体对应多个序列行动所收集到的累积奖励，其中强化学习智能体使用神经网络模型从一系列的多个候选行动中挑选出所述序列行动。在神经网络模型的训练过程中，根据所述序列行动中的症状询问行动与确诊症状之间的比较结果提供累积奖励当中的多个辅助奖励给强化学习智能体。通过提供辅助奖励以鼓励强化学习智能体去选择症状询问行动当中潜在答案较有机会为是的询问行动，借此提高提出关键性询问行动的可能性。本公开还涉及一种医学系统。

技术领域

本公开涉及机器学习方法，更进一步而言，本公开涉及用于医学系统的强化学习方法。

背景技术

近年来已经出现了电脑辅助医学系统的概念以便于患者自我诊断。电脑辅助医学系统可请求患者提供一些信息，并随后基于与患者的互动来尝试诊断潜在疾病。

发明内容

本公开文件提供一种控制方法适用于强化学习系统，控制方法包含下列步骤。获得有关一互动系统的一训练数据，该互动系统与一强化学习智能体互动，该强化学习智能体用以选择多个序列行动，该训练数据包含一病历，该病历记载一确诊疾病以及与该确诊疾病有关的多个确诊症状之间的关系。训练一神经网络模型以最大化该强化学习智能体对应所述序列行动所收集到的一累积奖励，其中该强化学习智能体使用该神经网络模型从一系列的多个候选行动中挑选出所述序列行动，所述序列行动包含多个症状询问行动以及一结果预测行动。在该神经网络模型的训练过程中，根据所述症状询问行动与所述确诊症状之间的比较结果提供该累积奖励当中的多个辅助奖励给该强化学习智能体，以及，根据该结果预测行动与该确诊疾病之间的比较结果提供该累积奖励当中的一主要奖励给该强化学习智能体。

于一实施例中，其中提供所述辅助奖励的步骤包含：将所述症状询问行动每一者各自与该训练数据中的所述确诊症状比较；相对应于该症状询问行动其中一者符合该训练数据中所述确诊症状其中一者，提供一正值辅助奖励；以及相对应于该症状询问行动其中该者并未符合该训练数据中所述确诊症状任一者，提供一负值辅助奖励。

于一实施例中，提供所述辅助奖励的步骤包含：判断所述症状询问行动当中一当前选取行动是否与所述症状询问行动当中一先前选取行动指向一相同症状；以及相对应于该当前选取行动与该先前选取行动指向该相同症状，提供该负值辅助奖励。

于一实施例中，依照一序列顺序提供的所述辅助奖励具有逐渐提高的折扣率。

于一实施例中，提供所述辅助奖励当中的一第一辅助奖励的次序早于提供所述辅助奖励当中的一第二辅助奖励的次序，提供该第二辅助奖励时采用一折扣参数。

于一实施例中，该神经网络模型包含一共同神经网络部分、一第一分支神经网络部分以及一第二分支神经网络部分，该第一分支神经网络部分与该第二分支神经网络部分分别连接至该共同神经网络部分，该第一分支神经网络产生的一第一结果状态用以选择所述症状询问行动或该结果预测行动，该第二分支神经网络产生的一第二结果状态用以重建多个症状特征的一几率分布。

于一实施例中，在训练过程中该神经网络模型的一目标函数包含最大化该累积奖励以及最小化所述症状特征的该几率分布与所述确诊症状之间的一差距。

于一实施例中，该强化学习智能体所选择的所述序列行动使得该互动系统由一状态进入另一状态，该互动系统的一状态数据包含多个症状数据位元以及多个脉络数据位元，所述症状数据位元记载在该病历中一病患身上是否发生多个症状各自的一正状态、一负状态或是一未确认状态，所述脉络数据位元记载与该病历中该病患的相关信息。

于一实施例中，该结果预测行动包含一疾病预测行动以及对应该疾病预测行动的一医疗部门建议行动两者至少一者。