[发明专利]一种基于逆矩阵的冗余数据判别方法

说明书

本发明公开了一种基于逆矩阵的冗余数据判别方法，首先是将需要分析的数据对象进行数值化后转化成矩阵形式，然后对该矩阵求逆，看是否能够求出逆矩阵，最后根据是否存在逆矩阵来判断该数据对象是否存在冗余信息。当不存在逆矩阵时，说明该数据对象不存在冗余信息，不需要做任何处理；当存在逆矩阵时，说明该数据对象存在冗余信息，需要进行冗余信息剔除处理，为下一步“数据治理”做准备。该方法较之于传统的异常数据判别方法，把数据分析对象转化为矩阵形式，简单易操作，只需确定所转化的矩阵是否存在逆矩阵，就可给出该数据中是否存在冗余信息的结论，简单明了。

技术领域

本发明涉及数据挖掘技术领域，特别涉及一种基于逆矩阵的冗余数据判别方法。

背景技术

随着大数据时代的到来，数据和信息的重要性越来越大。数据以视频、音频、图片、文字等方式形式存在，当前大数据时代的开拓性导致了数据存在冗余的现象。在对数据进行数据挖掘的过程中，实际并不需要所有的数据，排除冗余数据留下有价值的数据才是关键，这就需要进行“数据治理”。随着数据量的增大，如何快速地判别出数据堆里是否存在冗余数据也变得越来越难，寻求一种高效快速的冗余数据判别方法成为一种必然。

发明内容

本发明所要解决的技术问题是提供一种基于逆矩阵的冗余数据判别方法，高效快速，以解决现有技术中导致的上述多项缺陷。

为实现上述目的，本发明提供以下的技术方案：一种基于逆矩阵的冗余数据判别方法，包括如下步骤：

1)把需要分析的数据对象数值化；

2)对数值化后的数据集转化成矩阵；

3)利用增广矩阵变换，对矩阵进行求逆矩阵变换；

4)，根据是否存在逆矩阵来判断该数据对象是否存在冗余信息；当不存在逆矩阵时，说明该数据对象不存在冗余信息，不需要做任何处理；当存在逆矩阵时，说明该数据对象存在冗余信息，需要进行冗余信息剔除处理。

优选的，所述步骤1)中，在图片、文字、数据库中提取数据资源，记为D，然后把D数值化。

优选的，所述步骤2)中，将D转化为数据集X，即，

其中，X为m×n的多维数据。

优选的，所述步骤3)中，所述对矩阵X进行逆矩阵求解；

在特征矩阵右侧放置一个同阶的单位矩阵，形成一个新的矩阵X_a，即增广矩阵，

通过矩阵行列变换，看是否能够转化成矩阵X_b，即，

优选的，所述步骤4)中，假设特征数据集X中第a行与第b行存在冗余数据x_aj和x_bj,j＝1,2,…n；由于存在冗余的数据，即数据不存在信息，x_aj和x_bj有一个数据无价值，即x_aj或x_bj元素可为0。X的增广矩阵X_a中始终无法把原特征矩阵变换为单位矩阵，因此无法转化得到X_b，从而可检测特征数据集中是否存在冗余数据；

根据X_b存在与否，来判断X是否存在冗余数据：

如果X_b存在，则矩阵X不存在冗余数据，即不需要对分析的数据对象进行冗余数据处理；

如果X_b不存在，则矩阵X存在冗余数据，即需要对分析的数据对象进行冗余数据处理，为下一步“数据治理”做准备。