[发明专利]一种面向文本和图像的跨媒体检索方法及电子装置

权利要求书

1.一种面向文本和图像的跨媒体检索方法，其步骤包括：

1)提取一设定长度语音信息的g维MFCC特征，并将长度为m的g维MFCC特征转换为包含各维度之间相关关系及语音特征帧与帧之间局部语义关系的一维语音特征，g＝3h，h≥1，m≥1；

2)对一设定文本进行编码，获取词级别文本表示，并将词级别文本表示中每一个词与一维语音特征进行拼接，得到语音引导文本特征；其中，所述将词级别文本表示中每一个词与一维语音特征进行拼接，得到语音引导文本特征，包括：

融合若干样本语音信息的一维语音特征与若干样本文本的词级别文本表示，获取第i个词的门控值gate_i＝σ(W_g[f’_p,f’_si]+b_g)，其中σ为Sigmoid激活函数，f’_si为一样本文本的词级别文本中的第i个词文本表示，f’_p为一样本语音信息的一维语音特征，W_g是f’_p和f’_si拼接后的结果线性映射的权重矩阵，b_g是f’_p和f’_si拼接后的结果线性映射的偏置；

通过第i个词的门控制，计算第i个词的语音引导文本特征为词级别文本中第i个词文本表示，f_p为设定长度语音信息的一维语音特征，W_s是f_p和的拼接结果在门控值选择后的结果线性映射的权重矩阵，b_s是f_p和的拼接结果在门控值选择后的结果线性映射的偏置；

3)对查找到的每一图片，提取图片的区域特征，计算区域特征与语音引导文本特征的相似性分数，判断该图片是否包含设定长度语音信息及设定文本信息，得到检索结果。

2.如权利要求1所述的方法，其特征在于，g维MFCC特征包括h维MFCC系数、h维一阶差分参数和h维二阶差分参数。

3.如权利要求1所述的方法，其特征在于，通过以下步骤得到包含各维度之间相关关系及语音特征帧与帧之间局部语义关系的语音特征：

1)将g维MFCC特征输入一卷积神经网络，其中该卷积神经网络包括L个卷积层、V个池化层及一全连接层，L≥2，V≥1，L≥V；

2)通过一卷积层，获取包含各维度之间相关关系的卷积特征；

3)通过L-1个卷积层及V个池化层，获取包含语音特征帧与帧之间局部语义关系的卷积特征；

4)将最后一卷积层得到的卷积特征展开成一维向量，使用全连接层映射到指定维度，得到一维语音特征。

4.如权利要求1所述的方法，其特征在于，通过以下步骤获取词级别文本表示：

1)对设定文本的各词语使用one-hot表示，得到词级别文本；

2)通过双向门控循环单元对词级别文本进行编码，得到词级别文本表示。

5.如权利要求1所述的方法，其特征在于，将所述图片输入在Visual Genomes数据集上预训练的Faster-RCNN模型，提取所述图片的区域特征。

6.如权利要求1所述的方法，其特征在于，通过以下步骤计算区域特征与语音引导文本特征的相似性分数：

1)计算语音引导文本特征中的词与区域特征的余弦相似性其中v_j为待选图片的第j个区域特征；

2)使用softmax函数将余弦相似性α_ij转换为语音引导文本特征引导下各图像区域的组合权重其中N为待选图片的区域特征数量，λ₁为超参数；

3)计算引导后的组合图像

4)计算与v_si的相似性

5)计算区域特征与语音引导文本特征的相似性分数

7.如权利要求1所述的方法，其特征在于，通过相似性分数及一设定阈值，判断该图片是否包含设定长度语音信息及设定文本信息。