[发明专利]一种基于核相似度嵌入的动态纹理生成方法及装置

说明书

本发明公开了一种基于核相似度嵌入的动态纹理生成方法：对输入纹理视频进行预处理生成训练样本，以用于生产模型进行训练；以极限学习机作为基础模型进行动态纹理生成建模，并利用所述训练样本训练核相似度矩阵；利用训练的核相似度矩阵对测试帧进行处理，迭代地生成新纹理帧，从而实现动态纹理的预测和生成。本发明在动态纹理生成中有如下几点优势：具有较低的时间复杂度和计算资源消耗；可以有效地生成真实的、任意长度的动态纹理序列；具有很好的泛化能力，即可以在一个动态纹理视频中训练并迁移到另外一个视频中进行生成；可以同时进行灰度动态纹理与彩色动态纹理的处理与生成。本发明还公开了相应的基于核相似度嵌入的动态纹理生成装置。

技术领域

本发明属于视频生成技术领域，更具体地，涉及一种基于核相似度嵌入的动态纹理生成方法及装置。

背景技术

动态纹理是现实生活中常见的一种特殊视频，其在空间维度上具有统计稳态性，在时间维度上具有随机周期性，如风车、火焰、溪流、海浪、烟雾、车流。相较于其他的视频生成任务，动态纹理生成可以设计一个统一的线性或非线性函数对动态纹理进行表示，从而可以迭代的生成新的动态纹理。

动态纹理生成的主要难点在于同类动态纹理的数据量小且帧数短。这一因素使得当前方法存在以下问题：基于非深度学习的方法(如线性动态系统)需要进行适当地降维才能对动态纹理进行较为有效的建模；基于深度学习的方法不能准确地对动态纹理进行表征。为此，现有动态纹理生成方法不能有效地生成丰富的真实纹理视频的同时具有较好的迁移泛化能力。例如，论文(Kernel Learning for Dynamic Texture Synthesis，IEEETransactions on Image Processing(TIP)，2016)和中国发明专利(一种动态纹理生成方法，CN103810732)。

发明内容

为此，本方法通过充分挖掘并利用动态纹理自身具有的大量相似度先验信息，以解决数据量小与帧数短所导致的有效信息不足问题。同时，本方法具有低时间复杂度和计算消耗等优势(在Windows 10 64位操作系统上达到46fps的生成速度)，从而满足实际应用的需求。

针对现有技术的以上缺陷或改进需求，本发明提供了一种基于核相似度嵌入的动态纹理生成方法与装置，其目的在于使用核相似度嵌入(Kernel Similarity Embedding)充分挖掘并表征纹理视频自身具有的相似度先验信息，以解决现有技术生成的动态纹理质量不佳和模型缺乏迁移泛化性等问题。

为实现上述目的，本发明的一个方面，提供了一种基于核相似度嵌入的动态纹理生成方法，包括：

S1、对输入纹理视频进行预处理生成训练样本，以用于生产模型进行训练；

S2、以极限学习机作为基础模型进行动态纹理生成建模，并利用所述训练样本训练核相似度矩阵；

S3、利用训练的核相似度矩阵对测试帧进行处理，迭代地生成无限的新纹理帧，从而实现动态纹理的预测和生成。

本发明的一个实施例中，所述步骤S1包括：

将输入纹理视频S_1：L减去其均值S′做归一化，其中L为纹理视频的帧长；

将减去均值后的纹理视频划分为两个子序列：解释帧{S_i}，i＝1，…，L-1和应答帧{S_j}，j＝2，…，L；其中解释帧作为训练帧X，应答帧作为相应的训练帧的真实预测帧Y；

{(x，y)，x∈X，y∈Y}构成的二元组作为一个完整的训练样本。

本发明的一个实施例中，所述步骤S2中以极限学习机作为基础模型进行动态纹理生成建模，包括：

核相似度矩阵Ω_KSM被定义为：