[发明专利]一种超声图像自动描述方法和系统

说明书

技术领域

本方法涉及模式识别技术领域，具体是结合深度学习算法中的卷积神经网络模型(CNN)和长短期记忆模型(LSTM)自动描述超声图像的方法。

背景技术

超声图像自动化理解生成方法指的是根据输入的超声图像，可以自动的生成对超声图像内容进行描述的句子。而现如今基于超声图像内容自动生成描述超声图像内容句子的方法正逐渐被越来越多的学者所关注，但却依旧存在一些技术难点：1)由于超声图像本身的复杂性，使得传统的特征提取方法，如：SIFT，LBP，SURF等等，并不能很好的捕捉超声图像中重要的图像信息；2)超声图像特征的捕捉除了要捕捉超声图像中病变区域，还需要捕捉病变程度信息、病变位置信息等等；3)传统的图像主题生成方法，主要是以图像检索文本信息方式为主，但是这需要准备一个专门的用于存储文本信息数据库，而且可能由于搜集的文本信息不全面，这就使得当新来的图像内容并不能用数据库中的文本信息来描述时，会使得生成的用于描述图像内容的句子效果很差。

基于上述这些问题，使用一种结合深度学习算法中卷积神经网络CNN模型(Convolut ional Neural Network，简称CNN)和长短期记忆模型(Long-Short Term Memory,简称LSTM)LSTM模型来自动生成描述超声图像内容句子的方法，不同于传统的人工特征提取方法和传统语言模型结合的方法。

发明内容

为了克服超声图像描述自动生成中存在的超声图像特征难以捕捉、超声图像中病变程度信息捕捉、超声图像中存在新情况组合等问题，本发明通过直接将超声图像和描述超声图像内容的文本内容作为训练样本对，用来训练LSTM模型，提高了对超声图像特征的捕捉能力，同时可以很好的解决传统的自动生成描述图像内容的病情新的组合情况出现等问题。

本发明解决其技术问题所采用的技术方案是：一种超声图像自动化理解生成方法，其特征在于，包括：获取超声图像并进行预处理；CNN模型提取超声图像的特征，得到固定长度的超声图像特征向量；将超声图像对应的描述句子用分词工具进行分词，将分词用独热编码one-hot向量表示，根据one-hot向量获得词序列特征向量；利用超声图像特征向量和对应的词序列特征向量训练LSTM语言模型；将超声图像特征向量输入训练好的LSTM语言模型，在每个时间步生成描述超声图像的词，将当前时间步及之前时间步得到的词进行拼接，直到句子长度达到最大长度或者遇到结束符为止，得到描述超声图像的若干个子句，利用束搜索方法，根据公式S＝argmax_S'p(S'|I)，选中一个使得概率估计P(S'|I)最大对应的句子，为描述该幅超声图像的句子。

本发明的其中一个实施例包括，所述对超声图像做预处理具体包括，图像提取模块获取超声图像，根据CNN模型的要求调整所有超声图像的大小，对调整后的超声图像的每个像素通道的像素值做减均值操作。

本发明的其中一个实施例包括，所述通过CNN模型对超声图像进行特征提取具体包括，CNN模型从超声图像最原始的像素特征开始，进行一系列的卷积和池化操作，逐层对超声图像进行特征提取，形成超声图像2维特征映射，将超声图像2维特征映射中的每个神经元与全连接层的每个神经元相连接，再将2维特征映射转换成固定长度的1维特征向量，提取CNN模型中第二个全连接层的输出作为超声图像的特征向量。

本发明的其中一个实施例包括，所述获得词序列特征向量具体包括：将第个时间步得到的词用一个one-hot向量表示，向量的大小为词库的大小，向量中的每一个位代表词库中的一个词，然后利用投影矩阵，将词的one-hot向量转换到和超声图像的特征向量相同的特征空间表示。

本发明的其中一个实施例包括，所述训练LSTM模型包括，在-1时间步输入超声图像的特征向量，其余每个时间步的LSTM产生对下一个词的预测概率值，利用该概率值得到每个时间步的损失函数，根据公式将每个时间步的损失函数相加，得到LSTM模型的损失函数，最小LSTM模型的损失函数对应的LSTM模型为训练好的LSTM语言模型，其中，I表示超声图像，S表示描述超声图像的句子，N表示描述句子的长度，p_t(S_t)表示在t时间步时输入第t个词S_t在经过LSTM模型后，得到词库中词可能为下一个词的概率值。