[发明专利]一种超声图像自动描述方法和系统

权利要求书

1.一种超声图像自动化描述生成方法，其特征在于，包括：获取超声图像并进行预处理；CNN模型提取超声图像的特征，得到固定长度的超声图像特征向量；将超声图像对应的描述句子用分词工具进行分词，将分词用独热编码one-hot向量表示，根据one-hot向量获得词序列特征向量；利用超声图像特征向量和对应的词序列特征向量训练LSTM语言模型；将超声图像特征向量输入训练好的LSTM语言模型，在每个时间步生成描述超声图像的词，将当前时间步及之前时间步得到的词进行拼接，直到句子长度达到最大长度或者遇到结束符为止，得到描述超声图像的若干个子句，利用束搜索方法，根据公式S＝arg max_S'p(S'|I)，选中一个使得概率估计P(S'|I)最大对应的句子，为描述该幅超声图像的句子。

2.根据权利要求1所述的方法，其特征在于，所述对超声图像做预处理具体包括，图像提取模块获取超声图像，根据CNN模型的要求调整所有超声图像的大小，对调整后的超声图像的每个像素通道的像素值做减均值操作。

3.根据权利要求1所述的方法，其特征在于，所述通过CNN模型对超声图像进行特征提取具体包括，CNN模型从超声图像最原始的像素特征开始，进行一系列的卷积和池化操作，逐层对超声图像进行特征提取，形成超声图像2维特征映射，将超声图像2维特征映射中的每个神经元与全连接层的每个神经元相连接，再将2维特征映射转换成固定长度的1维特征向量，提取CNN模型中第二个全连接层的输出作为超声图像的特征向量。

4.根据权利要求1所述的方法，其特征在于，所述获得词序列特征向量具体包括：将第个时间步得到的词用一个one-hot向量表示，向量的大小为词库的大小，向量中的每一个位代表词库中的一个词，然后利用投影矩阵，将词的one-hot向量转换到和超声图像的特征向量相同的特征空间表示。

5.根据权利要求1所述的方法，其特征在于，所述训练LSTM语言模型包括，在-1时间步向LSTM语言模型输入超声图像的特征向量，其余每个时间步产生对下一个词的预测概率值，利用该概率值得到每个时间步的损失函数，根据公式将每个时间步的损失函数相加，得到LSTM语言模型的损失函数，最小损失函数对应的LSTM语言模型为训练好的LSTM语言模型，其中，I表示超声图像，S表示描述超声图像的句子，N表示句子的长度，p_t(S_t)表示在t时间步产生的概率值。

6.一种超声图像自动化描述生成系统，其特征在于，包括：图像预处理模块、CNN模型、特征向量生成模块、模型训练模块、LSTM模型，图像预处理模块获取超声图像并进行预处理；CNN模型提取超声图像特征，得到固定长度的超声图像特征向量；分词工具将超声图像对应的描述句子进行分词，拆分成由词组成具有固定序列的分词，每个时间步得到的分词用一个独热编码one-hot向量表示，根据one-hot向量获得词序列特征向量；模型训练模块输入超声图像的特征向量和的词序列特征向量训练LSTM语言模型；LSTM语言模型将输入的超声图像特征向量在每个时间步产生多个图像描述候选句子，根据概率估计产生描述超声图像的句子。

7.根据权利要求6所述的系统，其特征在于，所述对超声图像做预处理具体包括，图像提取模块获取超声图像，根据CNN模型的要求调整所有超声图像的大小，对调整后的超声图像的每个像素通道的像素值做减均值操作。

8.根据权利要求6所述的系统，其特征在于，所述通过CNN模型对超声图像进行特征提取具体包括，CNN模型从超声图像最原始的像素特征开始，进行一系列的卷积和池化操作，逐层对超声图像进行特征提取，形成超声图像2维特征映射，将超声图像2维特征映射中的每个神经元与全连接层的每个神经元相连接，再将2维特征映射转换成固定长度的1维特征向量，提取CNN模型中第二个全连接层的输出作为超声图像的特征向量。

9.根据权利要求6所述的系统，其特征在于，所述获得词序列特征向量具体包括：特征向量生成模块将第t个时间步得到的词用一个one-hot向量S_t表示，向量S_t的大小为词库的大小，向量中的每一个位代表词库中的一个词，然后利用投影矩阵，将词的one-hot向量转换到和超声图像的特征向量相同的特征空间表示。

10.根据权利要求6所述的系统，其特征在于，其特征在于，所述训练LSTM模型进一步包括，在-1时间步输入超声图像的特征向量，其余每个时间步t的LSTM产生对下一个词的预测概率值，利用该概率值得到每个时间步的损失函数，根据公式将每个时间步的损失函数相加，得到LSTM模型的损失函数，最小化LSTM模型的损失函数，得到描述超声图像句子的语言模型，其中，I表示超声图像，S表示描述超声图像的句子，N表示描述句子的长度，p_t(S_t)表示在t时间步产生的概率值。