[发明专利]用于基于患者的医学图像生成报告的系统、方法和介质

权利要求书

1.一种用于基于患者的医学图像生成报告的系统，其包括：

通信接口，其配置为接收由图像采集装置获取的医学图像；

至少一个处理器，其配置为：

接收用户对至少一个视图中的至少一幅医学图像的选择；

基于包括串联连接的卷积神经网络和递归神经网络的学习网络自动生成描述所选择的医学图像的关键词；

接收用户对所生成的关键词的交互，所述交互包括关键词选择、关键词排序和关键词添加中的至少一种；

基于对所述关键词的交互，生成所述报告；以及

显示器，被配置为显示所选择的医学图像和所述报告。

2.根据权利要求1所述的系统，其中，所述至少一个处理器还被配置为使用所述卷积神经网络从所选择的医学图像中提取图像特征。

3.根据权利要求2所述的系统，其中，所述至少一个处理器还被配置为使用所述递归神经网络基于所述图像特征生成所选择的医学图像的自然语言描述。

4.根据权利要求3所述的系统，其中，所述关键词选自所选择的医学图像的所述自然语言描述。

5.根据权利要求1所述的系统，其中，所述至少一个处理器还被配置为通过优化所述卷积神经网络和所述递归神经网络的联合损失函数来训练所述学习网络。

6.根据权利要求1所述的系统，其中，所述用户的选择还包括所选择的医学图像中的关注区域，并且所述至少一个处理器被配置为基于所述学习网络自动更新所述关键词以描述所选择的关注区域。

7.根据权利要求2所述的系统，其中，所述至少一个处理器还被配置为：

确定指示从所选择的医学图像提取的各个图像特征对每个生成的关键词的贡献的注意力权重；和

对所提取的图像特征用相应的注意力权重进行加权。

8.根据权利要求1所述的系统，其中，所述至少一个处理器还被配置为：

接收与生成所述关键词相关联的要求；和

将所述要求输入到所述递归神经网络。

9.根据权利要求1所述的系统，还包括：麦克风，其被配置为接收语音输入，其中，所述至少一个处理器还被配置为基于所述语音输入的内容来调整所生成的关键词。

10.根据权利要求1所述的系统，其中，所述至少一个处理器还被配置为在所述显示器上示出绘图工具，所述绘图工具被配置为接收标注，其中，所述至少一个处理器还被配置为基于所述标注调整所生成的关键词。

11.根据权利要求1所述的系统，其中，所述至少一个处理器还被配置为：

接收文本输入；和

基于所述文本输入调整所生成的关键词。

12.一种用于基于患者的医学图像生成报告的方法，所述方法包括：

由通信接口接收由图像采集装置获取的医学图像；

接收用户对至少一个视图中的至少一幅医学图像的选择；

由至少一个处理器基于学习网络自动生成描述所选择的医学图像的关键词，所述学习网络包括串联连接的卷积神经网络和递归神经网络；

接收用户对所生成的关键词的交互，所述交互包括关键词选择、关键词排序和关键词添加中的至少一种；

由所述至少一个处理器基于对所述关键词的交互，生成所述报告；以及

在显示器上显示所选择的医学图像和所述报告。

13.根据权利要求12所述的方法，其中自动生成关键词还包括：

使用所述卷积神经网络从所选择的医学图像中提取图像特征；

使用所述递归神经网络基于所述图像特征生成所选择的医学图像的自然语言描述；以及

从所述自然语言描述中选择所述关键词。