[发明专利]一种智能生成元宇宙空间的方法及其装置

权利要求书

1.一种智能生成元宇宙空间的方法，其特征在于，

获取样本数据，所述样本数据包括图像数据、语音数据、文本数据和多模态数据；

将所述样本数据分别输入不同的基础模型，对输入所述基础模型的样本数据进行训练，得到预训练模型，其中，所述基础模型包括图像基础模型、语音基础模型、文本基础模型和多模态基础模型，所述预训练模型包括图像预训练模型、语音预训练模型、文本预训练模型和多模态预训练模型；

将所述预训练模型作为生成模型，同时选取所述预训练模型中部分网络结构作为判别模型，对所述生成模型和所述判别模型进行对抗训练，得到对抗生成模型，所述对抗生成模型包括图像对抗生成模型、语音对抗生成模型、文本对抗生成模型和多模态对抗生成模型；

将元宇宙特征输入所述对抗生成模型中，生成与所述元宇宙特征相对应的元宇宙空间。

2.根据权利要求1所述的智能生成元宇宙空间的方法，其特征在于，所述获取样本数据，包括：

定义数据收集目标；

根据所述数据收集目标选择数据来源收集所述样本目标数据；

清洗和预处理所述样本目标数据；

将清洗和预处理后的所述样本目标数据划分成不同的数据集；

保存所述数据集，得到所述样本数据。

3.根据权利要求1所述的智能生成元宇宙空间的方法，其特征在于，所述将所述样本数据分别输入不同的基础模型，对输入所述基础模型的样本数据进行训练，得到预训练模型包括：

将所述图像数据输入所述图像基础模型，对输入所述图像基础模型的所述图像数据进行训练，得到所述图像预训练模型；

将所述语音数据输入所述语音基础模型，对输入所述语音基础模型的所述语音数据进行训练，得到所述语音预训练模型；

将所述文本数据输入所述文本基础模型，对输入所述文本基础模型的所述文本数据进行训练，得到所述文本预训练模型；

将所述多模态数据输入所述多模态基础模型，对输入所述多模态基础模型的所述多模态数据进行训练，得到所述多模态预训练模型。

4.根据权利要求3所述的智能生成元宇宙空间的方法，其特征在于，所述将所述图像数据输入所述图像基础模型，对输入所述图像基础模型的所述图像数据进行训练，得到所述图像预训练模型包括：

对所述图像数据进行标注，得到图像标注数据；

将所述图像标注数据输入所述图像基础模型，对其进行再训练，得到所述图像预训练模型。

5.根据权利要求4所述的智能生成元宇宙空间的方法，其特征在于，所述将所述图像标注数据输入所述图像基础模型，对其进行再训练，得到所述图像预训练模型包括：

将所述图像标注数据输入所述图像基础模型，对其进行缩放，得到输入图像；

对所述输入图像进行多重转换，将其再编码，得到图像编码向量；

向所述图像编码向量中加入多任务学习模块，得到所述图像预训练模型。

6.根据权利要求3所述的智能生成元宇宙空间的方法，其特征在于，所述将所述语音数据输入所述语音基础模型，对输入所述语音基础模型的所述语音数据进行训练，得到所述语音预训练模型包括：

对所述语音数据进行清洗，得到语音清洗数据；

调整所述语音清洗数据中的数据比例，将其输入所述语音基础模型，得到所述语音预训练模型。

7.根据权利要求3所述的智能生成元宇宙空间的方法，其特征在于，所述将所述文本数据输入所述文本基础模型，对输入所述文本基础模型的所述文本数据进行训练，得到所述文本预训练模型包括：

对所述文本数据进行清洗，得到文本清洗数据；

将所述文本清洗数据输入所述文本基础模型，得到所述文本预训练模型。

8.根据权利要求1所述的智能生成元宇宙空间的方法，其特征在于，所述选取部分所述预训练模型作为判别模型包括：

将所述预训练模型的网络层次抽取1/3，其中，抽取后的所述预训练模型的网络权重保持和所述预训练模型对应的层次权重一致；

向抽取后的所述预训练模型加入多层网络判别器，得到所述判别模型。