[发明专利]多媒体资源搜索方法、装置及存储介质

权利要求书

1.一种多媒体资源搜索方法，其特征在于，包括：

响应于多媒体资源的搜索请求，通过孪生模型中的第一神经网络模型或第二神经网络模型的第n个多层卷积层，对输入资源进行特征提取处理，得到第n个卷积特征；

通过所述第n个多层卷积层对应的全连接层，将所述第n个卷积特征转化为第n个向量表示；

通过池化层对所述第n个卷积特征进行降采样处理；

迭代n的取值直至得到第N个向量表示，并对N个向量表示进行拼接处理，得到第一向量；

其中，所述n的取值依次为1，2，……N，N为大于2的整数；所述输入资源为所述多媒体资源或第n-1个经过降采样处理的卷积特征；所述第一向量用于表示所述多媒体资源中的语义信息和视觉信息；

获取至少两个候选多媒体资源及对应的第二向量；其中，所述第二向量的确定方式与所述第一向量的确定方式相同；

确定所述第一向量与各所述第二向量之间的向量距离；其中，所述向量距离用于表示所述多媒体资源与所述候选多媒体资源之间的相似度，且所述相似度是结合语义信息和视觉信息两个维度确定的；

将满足距离条件的向量距离对应的候选多媒体资源，确定为相似多媒体资源，并用于响应所述搜索请求。

2.根据权利要求1所述的多媒体资源搜索方法，其特征在于，所述对输入资源进行特征提取处理之前，还包括：

确定二元组及对应的二元组标签；其中，所述二元组标签用于表示所述二元组内的两个多媒体资源是否相似；

通过所述孪生模型中的所述第一神经网络模型，对所述二元组中的第一多媒体资源进行前馈处理，得到第一训练向量；

通过所述孪生模型中的所述第二神经网络模型，对所述二元组中的第二多媒体资源进行前馈处理，得到第二训练向量；

确定所述第一训练向量与所述第二训练向量之间的向量距离，并根据所述向量距离和所述二元组标签确定损失值；

根据所述损失值进行反向传播，并在反向传播的过程中，沿梯度下降方向更新所述孪生模型中所述第一神经网络模型和所述第二神经网络模型的各个层的权重参数；

其中，所述第一神经网络模型与所述第二神经网络模型的权重参数相同。

3.根据权利要求2所述的多媒体资源搜索方法，其特征在于，所述确定二元组及对应的二元组标签，包括：

确定至少两个多媒体资源类；其中，所述多媒体资源类内的任意两个多媒体资源满足相似条件；

根据属于同一所述多媒体资源类的任意两个多媒体资源，构建相似二元组，并将所述相似二元组对应的二元组标签确定为相似标签；

根据不属于同一所述多媒体资源类的任意两个多媒体资源，构建不相似二元组，并将所述不相似二元组对应的二元组标签确定为不相似标签。

4.根据权利要求3所述的多媒体资源搜索方法，其特征在于，所述确定至少两个多媒体资源类，包括：

执行以下任意一种处理：

从数据库中获取至少两个多媒体资源类；

从所述数据库中获取至少两个候选多媒体资源，对各所述候选多媒体资源进行映射处理得到映射向量，并

根据所述映射向量对所有所述候选多媒体资源进行聚类处理，得到至少两个多媒体资源类。

5.根据权利要求4所述的多媒体资源搜索方法，其特征在于，所述对各所述候选多媒体资源进行映射处理得到映射向量，包括：

执行以下任意一种处理：

对各所述候选多媒体资源进行哈希编码处理，得到映射向量；

对各所述候选多媒体资源进行局部特征检测，将得到的局部特征算子确定为映射向量；

通过分类模型对各所述候选多媒体资源进行前馈处理，将所述分类模型的最后一个全连接层输出的向量表示确定为映射向量。