[发明专利]一种基于互信息的实时特征提取方法

摘要

一种基于互信息的实时特征提取方法，步骤为：1)判断当前窗口是否为第一个窗口；若是第一个窗口，则转到步骤2)；否则跳转到步骤3)；2)计算每两个维度之间的互信息并组成互信息矩阵；计算互信息矩阵的单位化矩阵，对互信息矩阵进行特征分解，将特征值和特征向量进行排序，计算每个特征向量的贡献率，并求出累计贡献率在85％‑95％的前k个特征向量组成主成分决策矩阵，并将当前窗口内的数据映射到决策矩阵上。3)计算当前窗口内的互信息矩阵，并将其投影到前一窗口的互信息矩阵的单位化矩阵上，然后对该矩阵进行特征分解，然后取得累计贡献率在85％‑95％的前k个特征向量组成主成分决策矩阵。将数据投影到决策矩阵上实现特征提取。

主权项

1.一种基于互信息的实时特征提取方法，包括如下步骤：1)、判断当前窗口是否为第一个窗口；若为第一个窗口，则采用步骤2)中的方法，基于互信息的特征提取策略；如果不是第一个窗口，则采用步骤3)中的方法，采取基于滑动窗口的增量数据提取策略；2)、当前窗口是一个窗口时，对其内的数据进行处理，具体为：2.1)假设特征空间Rm×n上的样本数据集X,每一条数据Xi由n维特征向量组成，(xi1,xi2,…xin)；首先根据数据样本统计特征的概率分布，根据式(1)计算每个特征的信息熵H(xj)：其中：p(xi)是特征的值域内中的每个值出现的概率；然后根据式(2)计算每个特征间的互信息，组成互信息矩阵其中：P(x,y)是两个特征的联合分布概率，P(x)和P(y)分别是特征X和特征Y值域内的每个值出现的概率；在中，对角线元素表示每个特征的自信息，即特征的信息熵，非对角线元素表示两个特征的之间的互信息；2.2)无论是信息熵还是互信息皆为实数，当两个变量不相关时，互信息为0，否者为正数，因此ΣΙxy为非负实数矩阵，并且由公式(3)I(X；Y)＝I(Y；X)   (3)可以判定是非负实对称矩阵，其特征值为实数，特征值对应的特征向量两两正交，并且矩阵可分解为如下形式：其中：Λ为的特征值(μ₁,μ₂,…μ_n)组成的对角阵，特征值从大到小排列；B是各个特征值对应的特征向量(β1,β2,…βn)组成的矩阵，通过贡献率来判断主成分的维数；主成分的贡献率σk为单一主成分占总体主成分信息量的比重：其中：μk表示第k大的特征值；累计贡献率δk为前k个主成分的贡献率之和：选择贡献率之和在85％‑95％的前k个特征值对应的特征向量(β1,β2,…βl)作为主成分决策矩阵Bl原始矩阵降维后为：Z＝BlX   (7)提取出的主成分zk＝βk'X(k＝1,2，···，l)，βk'是第k个主成分；并计算出互信息矩阵的单位化矩阵H_i：Hi＝BiΛi‑1/2   (8)其中Bi∈Rn×k是主成分决策矩阵，Λ∈Rm×k是选取的前k个特征值组成的矩阵；3)、当前窗口不是第一个窗口时，对其内的数据进行处理，其实现步骤如下：3.1)、首先计算本窗口内的互信息矩阵Σi+1，然后将其投影到Hi张成的空间中.在式(9)中，Hi是前一个窗口的互信息矩阵的单位化矩阵，3.2)、对求特征值和特征向量，并按降序排列，并根据式(5)和式(6)取得累计贡献率在85％‑95％的前k个特征值；μ_i和对应的特征向量β_i，根据这k个特征值和特征向量求得当前窗口内的互信息矩阵的特征值矩阵：其中：m是窗口大小，I为单位矩阵，μ_i是的特征值矩阵特征向量：V＝Hiβi   (11)其中：H_i是前一个窗口的互信息矩阵的单位化矩阵，β_i是的特征向量并组成主成分决策阵，将数据映射到主成分决策阵上即实现了降维，后续的窗口重复此过程。