[发明专利]一种高维不完整数据特征选择方法

权利要求书

1.一种高维不完整数据特征选择方法，包括如下步骤：

(1)判断初始数据是否为完整数据；若为不完整数据，则转到步骤(2)；若为完整数据，则转到步骤(3)；

(2)采用不完整矩阵计算方法处理数据，具体为：

(2.1)假设现在有各个维度的数据,用1表示该维度的值是完整的,用0表示该维度的值是缺失的，计算每个维度的缺失率,接着通过下式计算缺失熵：

其中p_i是每个维度的缺失率，H(X)表示缺失熵，n表示数据的维度；

(2.2)H(X)越大说明不确定性越高,缺失率越接近0.5，H(x)的极值为0.5；依次算出每个维度的缺失熵；

(2.3)对结果进行加权平均；

(2.4)对每一个维度X的缺失值,P(忽略)＝H_mean(X),P(填补)＝1-H_mean(X)；

其中H_mean(X)表示缺失熵H(X)加权平均的结果，P(忽略)是将该数据删除的概率，P(填补)是将数据填充的概率；

(3)在高维数据中进行特征选择时，通过比较原始数据矩阵的相关矩阵和随机矩阵在奇异值上的差异，对相关矩阵进行去噪，其实现步骤如下：

(3.1)设有原始N×L数据矩阵D,其中特征集合F＝{f₁,f₂,…,f_t},类集合C＝{c₁,c₂,…,c_k},通过(1a-1b)式构建互信息矩阵M,当k较小时,无法很好的满足随机矩阵的特征，因此需要对M进行增广，复制m次,即M＝[M,m(M)],为了保持初始的行列比，这里m＝((L-1)²/N*k)-1；

其中P(x,y)是特征和类别的联合分布，P(x)和P(y)分别是特征和类别的出现概率；I(X；Y)表示互信息，其中X代表集合F，Y代表集合C；t,k分别代表特征集合F与C中元素的个数；

(3.2)为了保证一般性,对矩阵M进行规范化,通过(2)式中心化，然后再通过(3)式进行标准化,得到矩阵M_d；接着根据(4)式计算得到t×t的特征相关矩阵C；

I_ij是矩阵M中第i行第j列的元素,maxI_i是第i行中最大的元素，minI_i是第i行中最小的元素；

是(2)式中的求得的元素，表示求第i行中所有元素平方和的算术平方根

(3.3)对C按(5)式进行奇异值分解；其中Λ＝diag(σ₁,σ₂,…,σ_r)且σ_1≥σ_2≥…σ_t0,σ_i(i＝1,2,…,r)为矩阵C的奇异值,这时称式(5)为矩阵C的奇异值分解式；

C＝UΛV (5)

(3.4)建立t×m随机矩阵,其变量服从均值为0，方差为1的正态分布，根据下式可以得到相关矩阵的最大特征值；

其中Q是矩阵的行列比，即Q＝t/m；

C_new＝UΛ_newV (6)

(3.5)根据随机矩阵理论，认为的奇异值是噪声,则令所有i≥j的σ_i＝0,t-j剩下的j-1个奇异值包含了所有的真实信息,因此可以矩阵相乘得到新的相关矩阵C_new：

(3.6)对C_new进行奇异值分解得到U_new和V_new，C_new中的每个元素K_ij表示任意2个特征对初始类的相关程度,V_new中的每个元素E_ij是每个特征对新类的相关程度；

(3.7)对通过去噪后的相关矩阵进行特征选择,特征选择的目标是去除与类不相关的特征和相互冗余的特征.经过去噪的结果可知,共保留了j-1个奇异值,因此在这里共选择j-1个特征,因此可以根据(7)式计算每一个特征的重要度,其中F(i)表示第i个特征的重要度，得到集合F＝{f₁,f₁,…,f_i},接着对F进行降序排序，选择前j-1个重要度最大的特征,从而完成特征选择；

其中I_ij是矩阵M的第i行第j列的元素，E_ij是(6)式中C_new奇异值分解后得到的右奇异矩阵V_new的第i行第j列的元素，K_ij是相关矩阵C_new的第i行第j列的元素。