[发明专利]基于双重数据分解的数据编码系统及方法

权利要求书

1.基于双重数据分解的数据编码系统，其特征在于，所述系统包括：数据预处理单元、数据分解单元、数据编码单元、数据加密单元和数据组合单元：所述数据预处理单元，配置用于将待处理数据进行数据预处理，得到预处理数据；所述数据预处理过程至少包括：去除唯一属性、处理缺失值、数据规约和异常值检测及处理；所述数据分解单元，配置用于将预处理数据基于预设的阈值，分解为阈内数据和阈外数据；所述数据编码单元，配置用于将分解得到的阈内数据进行数据编码得到编码后数据；所述数据加密单元，配置用于将分解得到的阈外数据进行数据加密，得到加密后数据；所述数据组合单元，配置用于将编码后数据和加密后数据进行数据组合，完成数据的编码。

2.如权利要求1所述的系统，其特征在于，所述数据预处理单元包括：去除唯一属性子单元、处理缺失值子单元、数据规约子单元和异常值检测及处理子单元；所述去除唯一数据子单元，配置用于去除待处理数据的唯一属性；处理缺失值子单元，配置用于处理待处理数据中的缺失值；数据规约子单元，配置用于对待处理数据进行数据规约处理；异常值检测及处理子单元，配置用于检测待处理数据中的异常值，将检测到的异常值进行处理。

3.如权利要求2所述的系统，其特征在于，所述数据规约子单元对带锤炼数据进行数据规约处理的方法包括：去平均值、计算协方差矩阵、计算协方差矩阵的特征值与特征向量、对特征值从大到小排序、保留最大特征向量、将数据转换到特征向量构建的新空间中；最后得处理后的新的数据，这些数据之间两两不相干，但保持原有的信息。

4.如权利要求3所述的系统，其特征在于，所述数据分解单元将预处理数据基于预设的阈值，分解得到阈内数据的方法包括：按照如下公式，进行基于阈值的数据分解，得到阈内数据：其中，所述f(x)为阈内数据，x_i为待处理数据，i为整数，表示序列的下标，n为序列上限，取值为数据的数量的总数，x₁，x₂，...，x_i分别表示待处理数据的数据值，t为阈值，取值范围为：1000～2000。

5.如权利要求如权利要求4所述的系统，其特征在于，所述数据分解单元将预处理数据基于预设的阈值，分解得到阈外数据的方法包括：按照如下公式，进行基于阈值的数据分解，得到阈外数据：其中，所述g(x)为阈外数据，x_i为待处理数据，i为整数，表示序列的下标，x₁，x₂，...，x_i分别表示待处理数据的数据值，t为阈值，取值范围为：1000～2000。

6.一种基于权利要求1至5之一所述系统的基于双重数据分解的数据编码方法，其特征在于，所述方法执行以下步骤：

步骤1：将待处理数据进行数据预处理，得到预处理数据；所述数据预处理过程至少包括：去除唯一属性、处理缺失值、数据规约和异常值检测及处理；

步骤2：将预处理数据基于预设的阈值，分解为阈内数据和阈外数据；

步骤3：将分解得到的阈内数据进行数据编码得到编码后数据；

步骤4：将分解得到的阈外数据进行数据加密，得到加密后数据；

步骤5：将编码后数据和加密后数据进行数据组合，完成数据的编码。

7.如权利要求6所述的方法，其特征在于，所述步骤1包括：去除待处理数据的唯一属性；处理待处理数据中的缺失值；对待处理数据进行数据规约处理；检测待处理数据中的异常值，将检测到的异常值进行处理。

8.如权利要求7所述的方法，其特征在于，所述数据规约子单元对带锤炼数据进行数据规约处理的方法包括：去平均值、计算协方差矩阵、计算协方差矩阵的特征值与特征向量、对特征值从大到小排序、保留最大特征向量、将数据转换到特征向量构建的新空间中；最后得处理后的新的数据，这些数据之间两两不相干，但保持原有的信息。