[发明专利]控制方法以及医学系统

权利要求书

1.一种控制方法，其特征在于，该控制方法适用于一强化学习系统，该控制方法包含：

获得有关一互动系统的一训练数据，该互动系统与一强化学习智能体互动，该强化学习智能体用以选择多个序列行动，该训练数据包含一病历，该病历记载一确诊疾病以及与该确诊疾病有关的多个确诊症状之间的关系；

训练一神经网络模型以最大化该强化学习智能体对应所述序列行动所收集到的一累积奖励，其中该强化学习智能体使用该神经网络模型从一系列的多个候选行动中挑选出所述序列行动，所述序列行动包含多个症状询问行动以及一结果预测行动；以及

在该神经网络模型的训练过程中，根据所述症状询问行动与所述确诊症状之间的比较结果提供该累积奖励当中的多个辅助奖励给该强化学习智能体，以及，根据该结果预测行动与该确诊疾病之间的比较结果提供该累积奖励当中的一主要奖励给该强化学习智能体；

其中该神经网络模型包含一共同神经网络部分、一第一分支神经网络部分以及一第二分支神经网络部分，该第一分支神经网络部分与该第二分支神经网络部分分别连接至该共同神经网络部分，该第一分支神经网络产生的一第一结果状态用以选择所述症状询问行动或该结果预测行动，该第二分支神经网络产生的一第二结果状态用以重建多个症状特征的一几率分布。

2.如权利要求1所述的控制方法，其特征在于，其中提供所述辅助奖励的步骤包含：

将所述症状询问行动每一者各自与该训练数据中的所述确诊症状比较；

相对应于该症状询问行动其中一者符合该训练数据中所述确诊症状其中一者，提供一正值辅助奖励；以及

相对应于该症状询问行动其中该者并未符合该训练数据中所述确诊症状任一者，提供一负值辅助奖励。

3.如权利要求2所述的控制方法，其特征在于，其中提供所述辅助奖励的步骤包含：

判断所述症状询问行动当中一当前选取行动是否与所述症状询问行动当中一先前选取行动指向一相同症状；以及

相对应于该当前选取行动与该先前选取行动指向该相同症状，提供该负值辅助奖励。

4.如权利要求2所述的控制方法，其特征在于，其中依照一序列顺序提供的所述辅助奖励具有逐渐提高的折扣率。

5.如权利要求4所述的控制方法，其特征在于，其中提供所述辅助奖励当中的一第一辅助奖励的次序早于提供所述辅助奖励当中的一第二辅助奖励的次序，提供该第二辅助奖励时采用一折扣参数。

6.如权利要求1所述的控制方法，其特征在于，其中在训练过程中该神经网络模型的一目标函数包含最大化该累积奖励以及最小化所述症状特征的该几率分布与所述确诊症状之间的一差距。

7.如权利要求1所述的控制方法，其特征在于，其中该强化学习智能体所选择的所述序列行动使得该互动系统由一状态进入另一状态，该互动系统的一状态数据包含多个症状数据位元以及多个脉络数据位元，所述症状数据位元记载在该病历中一病患身上是否发生多个症状各自的一正状态、一负状态或是一未确认状态，所述脉络数据位元记载与该病历中该病患的相关信息。

8.如权利要求1所述的控制方法，其特征在于，其中该结果预测行动包含一疾病预测行动以及对应该疾病预测行动的一医疗部门建议行动两者至少一者。

9.如权利要求1所述的控制方法，其特征在于，其中在该神经网络模型的完成训练后，该控制方法还包含：

利用该互动系统由一使用者收集一初始症状作为输入至该强化学习智能体的一初始状态；

根据该神经网络模型选择所述序列行动；以及

根据所述序列行动中的该结果预测行动，提供一疾病预测或者一医疗部门建议。