[发明专利]一种独立成分分析改进算法

权利要求书

1.一种独立成分分析改进算法，其特征在于：包括独立成分分析负熵的引用方法、改进的基于负熵的快速独立成分分析算法和改进的自然梯度算法；其中，基于负熵的快速独立成分分析算法包括基于负熵的快速独立成分分析算法、五阶收敛的牛顿迭代法和改进的基于负熵的独立成分分析算法。

2.按照权利要求1所述一种独立成分分析改进算法，其特征在于：所述独立成分分析负熵的引用方法中，设y是随机向量，多元概率密度函数为p(y)，则随机向量y的负熵定义为

J(y)＝H(y_gauss)-H(y)

其中y_gauss是和y具有相同协方差矩阵的高斯随机向量,H(·)为随机向量的微分熵,一个密度为p_y(ε)的随机向量的微分熵的定义为：

H(y)＝-∫p_y(ε)logp_y(ε)dε

当y服从高斯分布时，其负熵为零；当y服从非高斯分布时，其负熵大于零；设y是标准化的随机变量，v是标准化的高斯随机变量，则随机变量y的负熵近似表达为：

J(y)≈[E{G(y)}-E{G(v)}]²

其中E(·)为均值运算，G(·)是某种形式的非线性、非二次函数。

3.按照权利要求1所述一种独立成分分析改进算法，其特征在于：所述基于负熵的快速独立成分分析算法如下：

由观测信号X来估计未知源信号S或估计混合矩阵A，即求解一个解混矩阵W，使得Y＝WX的各分量尽可能相互独立，假设Z是观测信号X经预处理后得到的n维数据向量，w是W的一个行向量，则利用J(y)≈[E{G(y)}-E{G(v)}]²，算法通过最大化下面的目标函数来求解Y＝WX的一个投影方向：

J(w)＝[E{G(w^TZ)}-E{G(v)}]² (1)

J(w)的极大值通常在E{G(w^TZ)}的极值点处取得，按照Kuhn-Tucker条件，E{G(w^TZ)}的优化问题在条件E{(w^TZ)²}＝||w||²＝1下通过求解下式得到：

E{Zg(w^TZ)}+βw＝0 (2)

式中β为常量，由w的初始值w₀得到：β＝E{w₀^TZg(w₀^TZ)}；函数g(·)为G(·)的导数，取为：

g(x)＝tanh(a₁x),g(x)＝xexp(-x²/2),g(x)＝x³ (3)

其中的常数a₁在1≤a₁≤2范围内；

为了求解(2)式中的w，基于负熵的FastICA采用了牛顿迭代法，记非线性函数为

f(w)＝E{Zg(w^TZ)}+βw (4)

采用牛顿法来求解此方程，求其梯度为：

为了简化矩阵求逆，对上式中的第一项进行近似，由于数据已经白化过的，可以得到以下合理的近似：

E{ZZ^Tg′(w^TZ)}≈E{ZZ^T}E{g′(w^TZ)}＝E{g′(w^TZ)}I

则这样就可以得到近似的牛顿迭代公式：

将上式两端同乘以缩放因子β+E{g′(w^TZ)}，于是得简化后的基于负熵的FastICA迭代公式

w←E{Zg(w^TZ)}-E{g′(w^TZ)}w(6)

利用对称正交化得到解混矩阵W，则寻找一个极大化非高斯方向或估计一个独立成分的FastICA算法步骤：

a,对观测数据进行中心化使其均值为0；

b,然后进行白化，得到Z；

c,选择一个具有单位范数的初始化向量w；

d,按照(6)式更新w；

e,标准化w，w＝w/||w||；

f,如果尚未收敛则返回步骤d；

在实际应用中，期望用数据样本的平均值来估计。