[发明专利]一种变分自编码混合模型

说明书

本发明涉及一种变分自编码混合模型，其主要技术特点是：由K个变分自编码模型组成，其中每个变分自编码模型由K维的二值随机隐变量指示，每个变分自编码模型的概率解码模型及概率编码模型均由单隐层神经网络组成，指示隐变量的后验概率分布由基于截棍的神经网络组成。本发明设计合理，其采用自编码混合模型估计隐变量和样本之间的关系，能够提高模型生成样本的能力，基于隐变量学习混合生成模型的权重，能够保证对隐变量抽样的简便，并且在抽样生成样本时可以由隐变量自主确定最佳的生成模型，同时，本发明有效地扩展了隐变量空间即概率编码空间，提高了模型表示的精度。

技术领域

本发明属于机器学习技术领域，尤其是一种变分自编码混合模型。

背景技术

变分自编码(Variational Autoencoders,VAEs)是一类重要的表示模型，通过变分方法来近似求解生成模型(概率解码)和识别模型(概率编码)。令X＝{x₁,x₂,…,x_N}表示N个独立同分布样本组成的集合。变量x＝[x₁,x₂,...,x_d]^T是一个d维向量，可以是离散变量或连续变量。VAEs模型假设数据x是由条件分布p_θ(x|z)生成，其中z是连续隐变量，其先验分布为p_θ(z)，θ表示模型参数。此时的学习任务是通过计算边缘似然p_θ(x)及隐变量z的后验分布p_θ(z|x)求解模型参数，即：

p_θ(x)＝∫_zp_θ(x|z)p_θ(z)dz (1)

计算边缘似然及后验分布是难解的，变分自编码通过引入自由分布q_φ(z|x)用于近似后验概率分布p_θ(z|x)，将变量求积分问题转化为关于自由分布q_φ(z|x)的优化问题L_VAEs(x,θ,φ)，通过近似求解该优化问题计算目标函数，即：

在变分自编码模型中，条件分布p_θ(x|z)称为生成模型或概率解码，自由分布q_φ(z|x)称为识别模型或概率编码。具体地，q_φ(z|x)＝N(z；μ_φ(x),Σ_φ(x))，其中f_θ(z)，μ_φ(x)和Σ_φ(x)由单隐层神经网络构成。采用随机梯度下降方法求解优化问题(3)学习变分自编码模型参数{θ,φ}。