[发明专利]一种多模态图像辅助诊断系统及其搭建方法

权利要求书

1.一种多模态图像辅助诊断系统，其特征在于，包括：医院服务器、嵌入式开发平台和神经计算棒；

所述神经计算棒与所述嵌入式开发平台相连；所述嵌入式开发平台与所述医院服务器相连；且所述医院服务器、所述嵌入式开发平台和所述神经计算棒均处于同一局域网环境中；

其中，所述医院服务器中存储有患者信息及对应的多模态图像数据；所述神经计算棒中部署有预先训练好的深度学习模型。

2.根据权利要求1所述的多模态图像辅助诊断系统，其特征在于，所述嵌入式开发平台包括：RaspberryPi微型电脑，所述神经计算棒包括：英特尔神经计算棒。

3.根据权利要求1所述的多模态图像辅助诊断系统，其特征在于，所述神经计算棒通过USB接口与所述嵌入式开发平台相连。

4.根据权利要求3所述的多模态图像辅助诊断系统，其特征在于，所述嵌入式开发平台包括：处理器，与所述处理器相连的局域网请求单元和数据库管理单元；其中，所述局域网请求单元与所述医院服务器进行网络数据交互，并发送给所述处理器，所述处理器通过USB接口与所述神经计算棒进行数据交互。

5.根据权利要求4所述的多模态图像辅助诊断系统，其特征在于，所述神经计算棒包括：图像加速器单元和深度学习网络模型单元；

所述图像加速器单元与所述深度学习网络模型单元相连，对所述深度学习网络模型单元进行加速；

所述深度学习网络模型单元通过USB接口与所述处理器相连，进行数据交互。

6.一种多模态图像辅助诊断系统的搭建方法，其特征在于，适用于权利要求1-5任意一项所述的一种多模态图像辅助诊断系统，所述搭建方法具体包括：

S1：在嵌入式开发平台中装备Ubuntu操作系统，将神经计算棒与嵌入式开发平台进行连接，安装SDK和Caffe到神经计算棒；

S2：基于嵌入式开发平台搭建服务器框架和数据库；

S3：搭建连接医院服务器的网络环境；

S4：安全访问设置，设置IP地址校验，只有医院内部的IP地址才允许注册访问；

S5：利用GPU服务器对深度学习网络模型进行训练；对深度学习网络模型进行编译和调优，并将深度学习网络模型编译成神经计算棒能够运行的专用模型文件；在神经计算棒上调用SDL API运行深度学习网络模型。

7.根据权利要求6所述的多模态图像辅助诊断系统的搭建方法，其特征在于，当所述嵌入式开发平台为RaspberryPi微型电脑时，在步骤S1中，在Raspberry Pi微型电脑中装备Ubuntu操作系统，将神经计算棒通过USB与RaspberryPi微型电脑进行连接；安装SDK和Caffe到神经计算棒。

8.根据权利要求7所述的多模态图像辅助诊断系统的搭建方法，其特征在于，步骤S2具体包括：

安装并配置Apache，设置默认网页目录，安装并配置MySQL数据库；安装并配置PHP；安装并配置phpMyAdmin；

设置MySQL存储多模态图像数据的方式，其中，以医院对病人的编号和病人姓名作为多模态图像数据的主键，其中，存储图像数据的方式包括：

方式一：针对诊断报告图像按照二进制类型方式存储；

方式二：针对序列医学图像，将图片保存的路径存储到数据库。