[发明专利]一种变分自编码混合模型

摘要

本发明涉及一种变分自编码混合模型，其主要技术特点是：由K个变分自编码模型组成，其中每个变分自编码模型由K维的二值随机隐变量指示，每个变分自编码模型的概率解码模型及概率编码模型均由单隐层神经网络组成，指示隐变量的后验概率分布由基于截棍的神经网络组成。本发明设计合理，其采用自编码混合模型估计隐变量和样本之间的关系，能够提高模型生成样本的能力，基于隐变量学习混合生成模型的权重，能够保证对隐变量抽样的简便，并且在抽样生成样本时可以由隐变量自主确定最佳的生成模型，同时，本发明有效地扩展了隐变量空间即概率编码空间，提高了模型表示的精度。 1

主权项

1.一种变分自编码混合模型，其特征在于：由K个变分自编码模型组成，每个变分自编码模型由K维的二值随机隐变量指示，每个变分自编码模型的概率解码模型及概率编码模型均由单隐层神经网络组成，指示隐变量的后验概率分布由基于截棍的神经网络组成。

2.根据权利要求1所述的一种变分自编码混合模型，其特征在于：所述每个变分自编码模型表示如下：

令{θ₁,θ₂,...,θ_K}表示各分布分量的参数，π＝[π₁,π₂,...,π_K]表示各分布分量的权重，且K维的二值指示隐变量c＝[c₁,c₂,…,c_K]^T，满足c_k∈{0,1}且则π_k＝p(c_k＝1)是第k个模型的权重，变分自编码混合模型中指示隐变量概率分布p(c|π)及生成数据的条件概率分布p(x|z,c)分别为：

变分自编码混合模型的联合概率分布形式为：

p(x,z,c)＝p(x|z,c)p(z)p(c|π)。

3.根据权利要求1所述的一种变分自编码混合模型，其特征在于：所述单隐层神经网络的条件分布p_θ(x|z)为：

y＝f_σ(W₂tanh(W₁z+b₁)+b₂)

其中，W₁,b₁表示概率解码中单隐层神经网络输入层的权重和偏置，W₂,b₂表示单隐层神经网络输出层的权重和偏置，故参数θ＝{W₁,W₂,b₁,b₂}。

对于连续隐变量z，基于单隐层神经网络的条件分布q_φ(z|x)为：

log q_φ(z|x)＝log N(z；μ,δ²I)

μ＝W₄h+b₄

logδ²＝W₅h+b₅

h＝tanh(W₃z+b₃)

其中，W₃,b₃表示概率编码中单隐层神经网络输入层的权重和偏置，W₄,b₄,W₅,b₅表示单隐层神经网络输出层的权重和偏置，故参数φ＝{W₃,W₄,W₅,b₃,b₄,b₅}。

4.根据权利要求1所述的一种变分自编码混合模型，其特征在于：所述指示隐变量的后验概率分布表示如下：

对于隐变量π，采用单层神经网络学习后验q_η(π|z)：

α＝tanh(W₇(W₆z+b₆)+b₇)

其中，W₆,b₆表示单隐层神经网络输入层的权重和偏置，W₇,b₇表示单隐层神经网络输出层的权重和偏置，故参数η＝{W₇,W₈,b₇,b₈}。

5.根据权利要求1所述的一种变分自编码混合模型，其特征在于：所述变分自编码混合模型包括概率解码模型的模型参数、概率编码模型的模型参数及指示隐变量后验概率分布的模型参数，上述参数采用梯度下降方法优化目标函数计算得到。