[发明专利]一种手写图像生成方法、模型训练方法、装置及设备

权利要求书

1.一种手写图像生成方法，其特征在于，包括：

获取手写样本图像；所述手写样本图像对应有手写文字内容；

提取所述手写样本图像的样本手写风格特征；所述样本手写风格特征用于表示所述手写文字内容对应的风格；

将手写文字内容和样本手写风格特征输入扩散模型中得到对应于所述手写样本图像的至少两个目标样本图像；所述扩散模型用于根据噪声调整所生成的目标样本图像；所述目标样本图像之间具有不同的手写风格特征。

2.如权利要求1所述的方法，其特征在于，所述扩散模型包括基于unet结构和StyleGan的生成模型。

3.如权利要求1所述的方法，其特征在于，所述提取所述手写样本图像的样本手写风格特征，包括：

利用风格提取模型提取所述手写样本图像中的样本手写风格特征。

4.如权利要求3所述的方法，其特征在于，所述风格提取模型通过以下方式获取：

获取至少一个训练样本集；所述训练样本集中包括两个第一用户手写图像和一个第二用户手写图像；所述第一用户手写图像包括由第一用户手写得到的数据；

利用预先构建的风格提取模型分别提取所述训练样本集中的手写图像的训练风格特征；

依次计算每两个训练风格特征的风格相同概率；所述风格相同概率用于表示两种训练风格特征对应于同一用户的概率；

基于所述风格相同概率对所述风格提取模型进行优化。

5.如权利要求3所述的方法，其特征在于，所述风格提取模型包括基于ResNet50架构的孪生网络。

6.如权利要求1所述的方法，其特征在于，所述将手写文字内容和样本手写风格特征输入扩散模型中得到对应于所述手写样本图像的至少两个目标样本图像之后，还包括：

获取真实样本图像；所述真实样本图像中包含有真实手写内容；

利用风格提取模型获取所述真实样本图像对应的真实手写风格特征；

将所述真实手写风格特征融合至所述目标样本图像中得到优化手写图像。

7.如权利要求1所述的方法，其特征在于，将手写文字内容和样本手写风格特征输入扩散模型中得到对应于所述手写样本图像的至少两个目标样本图像，包括：

利用至少两个样本手写风格特征构建特征集合；

针对所述特征集合进行施密特正交化变化得到正交特征集合；

将所述手写文字内容和正交特征集合输入扩散模型中得到对应于所述手写样本图像的至少两个目标样本图像。

8.一种手写图像生成装置，其特征在于，包括：

手写样本图像获取模块，用于获取手写样本图像；所述手写样本图像对应有手写文字内容；

样本手写风格特征提取模块，用于提取所述手写样本图像的样本手写风格特征；所述样本手写风格特征用于表示所述手写文字内容对应的风格；

目标样本图像获取模块，用于将手写文字内容和样本手写风格特征输入扩散模型中得到对应于所述手写样本图像的至少两个目标样本图像；所述扩散模型用于根据噪声调整所生成的目标样本图像；所述目标样本图像之间具有不同的手写风格特征。

9.一种手写图像生成设备，包括存储器和处理器；

所述存储器，用于存储计算机程序指令；

所述处理器，用于执行所述计算机程序指令以实现以下步骤：获取手写样本图像；所述手写样本图像对应有手写文字内容；提取所述手写样本图像的样本手写风格特征；所述样本手写风格特征用于表示所述手写文字内容对应的风格；将手写文字内容和样本手写风格特征输入扩散模型中得到对应于所述手写样本图像的至少两个目标样本图像；所述扩散模型用于根据噪声调整所生成的目标样本图像；所述目标样本图像之间具有不同的手写风格特征。