[发明专利]基于循环生成网络的多模态信息隐写方法、装置及设备

权利要求书

1.一种基于循环生成网络的多模态信息隐写方法，其特征在于，包括：

获取待隐写数据、载体图像及风格图像，所述待隐写数据为文本信息、图像及语音中的任意一种或几种组合；

对所述待隐写数据进行预处理，得到符合预置的输入规则的隐写信息；

将所述隐写信息、所述载体图像及所述风格图像输入至训练后的隐写模型中，得到所述隐写模型输出的载密图像及干扰图像，所述隐写模型为循环生成网络，所述载密图像为，将所述隐写信息隐藏入所述风格图像后得到的图像，所述干扰图像为，将所述风格图像的艺术风格迁移至所述载体图像后得到的图像。

2.根据权利要求1所述的基于循环生成网络的多模态信息隐写方法，其特征在于，对所述待隐写数据进行预处理，得到符合预置的输入规则的隐写信息，包括：

若所述待隐写数据包含图像，则对所述待隐写数据中的图像进行尺寸对齐；对尺寸对齐后的图像进行加密，得到加密图像；在所述加密图像上标注标签，该标签表明所述待隐写数据包含图像，并将包含标注标签的加密图像作为隐写信息；

若所述待隐写数据包含语音，则将所述待隐写数据中的所述语音转换为数据图像，所述数据图像表明所述语音所表达的全部内容；对转换后的数据图像进行尺寸对齐及加密，得到加密的数据图像；在所述加密的数据图像上标注标签，该标签表明所述待隐写数据包含语音，并将包含标注标签的加密的数据图像作为隐写信息；

若所述待隐写数据包含文本信息，则将所述待隐写数据中的所述文本信息转换为信息矩阵；对所述信息矩阵进行加密，得到加密的信息矩阵；在所述加密的信息矩阵上标注标签，该标签表明所述待隐写数据包含文本信息，并将包含标注标签的所述加密的信息矩阵作为隐写信息。

3.根据权利要求2所述的基于循环生成网络的多模态信息隐写方法，其特征在于，在得到所述隐写模型输出的载密图像之后，还包括：

获取解码器；

利用所述解码器解析所述载密图像，获取嵌入的所述隐写信息；

对所述隐写信息进行解密，得到解密数据；

根据所述解密数据的标注标签，对所述解密数据进行还原，得到还原数据，所述还原数据的类型与所述待隐写数据的类型一致，所述类型为文本信息、图像及语音中的任意一种或几种组合。

4.根据权利要求1所述的基于循环生成网络的多模态信息隐写方法，其特征在于，所述隐写模型包括特征提取模块、合并模块及嵌入模块；

将所述隐写信息、所述载体图像及所述风格图像输入至训练后的隐写模型中，得到所述隐写模型输出的载密图像及干扰图像，包括：

将所述隐写信息、所述载体图像及所述风格图像输入至训练后的隐写模型后，通过所述特征提取模块，提取所述风格图像的风格序列及所述载体图像的特征序列；

通过所述合并模块，基于所述载体图像及所述风格序列生成风格化的载体图像，并基于所述风格图像及所述特征序列生成载体化的风格图像，并将所述风格化的载体图像作为干扰图像；

通过所述嵌入模块，将所述隐写信息嵌入至所述载体化的风格图像，得到载密图像。

5.根据权利要求4所述的基于循环生成网络的多模态信息隐写方法，其特征在于，所述嵌入模块包括编码器；

所述通过所述嵌入模块，将所述隐写信息嵌入至所述载体化的风格图像，包括：

通过所述嵌入模块的所述编码器，将所述隐写信息嵌入至所述载体化的风格图像的Y通道。

6.根据权利要求4所述的基于循环生成网络的多模态信息隐写方法，其特征在于，所述特征提取模块包括下采样层级及上采样层级；

通过所述特征提取模块，提取所述风格图像的风格序列及所述载体图像的特征序列，包括：

通过所述下采样层级，提取所述风格图像及载体图像的多维度的特征，并通过所述上采样层级，恢复所述风格图像及所述载体图像的尺寸，得到风格序列及特征序列。