[发明专利]一种多模态图像辅助诊断系统及其搭建方法

说明书

本发明公开了一种多模态图像辅助诊断系统及其搭建方法，其中该系统包括：医院服务器、嵌入式开发平台和神经计算棒；所述神经计算棒与所述嵌入式开发平台相连；所述嵌入式开发平台与所述医院服务器相连；且所述医院服务器、所述嵌入式开发平台和所述神经计算棒均处于同一局域网环境中；其中，所述医院服务器中存储有患者信息及对应的多模态图像数据；所述神经计算棒中部署有预先训练好的深度学习模型，不仅可以同时减轻患者和医生的负担，且能够提高工作效率。

技术领域

本发明涉及医学诊断技术领域，更具体的说是涉及一种多模态图像辅助诊断系统及其搭建方法。

背景技术

在临床医学诊断过程中，病人的图像数据往往需要通过专家来手动选取目标区域、分割ROI区域，这是一个非常耗时耗力的任务。且当前医院的检查工具和手段多样，能够获取病人的多种图像数据，如CT、MR、PET、SPECT 等，但是，这些多模态图像往往并不是由同一个科室能够完成采集并汇集在同一台诊断设备中，患者经常需要打印多种图像的诊断结果拿给诊断医生来做最终决策，同时加重了患者和医生的负担，且工作效率低。

因此，如何减轻患者和医生的负担，并提高工作效率是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种多模态图像辅助诊断系统及其搭建方法，不仅可以同时减轻患者和医生的负担，且能够提高工作效率。

为了实现上述目的，本发明采用如下技术方案：

一种多模态图像辅助诊断系统，包括：医院服务器、嵌入式开发平台和神经计算棒；

所述神经计算棒与所述嵌入式开发平台相连；所述嵌入式开发平台与所述医院服务器相连；且所述医院服务器、所述嵌入式开发平台和所述神经计算棒均处于同一局域网环境中；

其中，所述医院服务器中存储有患者信息及对应的多模态图像数据；所述神经计算棒中部署有预先训练好的深度学习模型。

优选的，所述嵌入式开发平台包括：RaspberryPi微型电脑，所述神经计算棒包括：英特尔神经计算棒。

优选的，所述神经计算棒通过USB接口与所述嵌入式开发平台相连。

优选的，所述嵌入式开发平台包括：处理器，与所述处理器相连的局域网请求单元和数据库管理单元；其中，所述局域网请求单元与所述医院服务器进行网络数据交互，并发送给所述处理器，所述处理器通过USB接口与所述神经计算棒进行数据交互。

优选的，所述神经计算棒包括：图像加速器单元和深度学习网络模型单元；

所述图像加速器单元与所述深度学习网络模型单元相连，对所述深度学习网络模型单元进行加速；

所述深度学习网络模型单元通过USB接口与所述处理器相连，进行数据交互。

一种多模态图像辅助诊断系统的搭建方法，适用上述的一种多模态图像辅助诊断系统，所述搭建方法具体包括：

S1：在嵌入式开发平台中装备Ubuntu操作系统，将神经计算棒与嵌入式开发平台进行连接，安装SDK和Caffe到神经计算棒；

S2：基于嵌入式开发平台搭建服务器框架和数据库；

S3：搭建连接医院服务器的网络环境；

S4：安全访问设置，设置IP地址校验，只有医院内部的IP地址才允许注册访问；

S5：利用GPU服务器对深度学习网络模型进行训练；对深度学习网络模型进行编译和调优，并将深度学习网络模型编译成神经计算棒能够运行的专用模型文件；在神经计算棒上调用SDL API运行深度学习网络模型。