[发明专利]基于双重数据分解的数据编码系统及方法

说明书

本发明数据编码技术领域，具体涉及基于双重数据分解的数据编码系统及方法。所述系统包括：数据预处理单元、数据分解单元、数据编码单元、数据加密单元和数据组合单元：所述数据预处理单元，配置用于将待处理数据进行数据预处理，得到预处理数据；所述数据预处理过程至少包括：去除唯一属性、处理缺失值、数据规约和异常值检测及处理；所述数据分解单元，配置用于将预处理数据基于预设的阈值，分解为阈内数据和阈外数据。其利用双重数据分解，将数据分解为域外数据和域内数据，针对域外数据和域内数据按照需求分别进行数据编码和数据加密，提升了数据编码的效率，同时提升了编码后数据的安全性。

技术领域

本发明属于数据编码技术领域，具体涉及基于双重数据分解的数据编码系统及方法。

背景技术

数据编码是计算机处理的关键。不同的信息记录应当采用不同的编码，一个码点可以代表一条信息记录。由于计算机要处理的数据信息十分庞杂，有些数据库所代表的含义又使人难以记忆。为了便于使用，容易记忆，常常要对加工处理的对象进行编码，用一个编码符合代表一条信息或一串数据。对数据进行编码在计算机的管理中非常重要，可以方便地进行信息分类、校核、合计、检索等操作。人们可以利用编码来识别每一个记录，区别处理方法，进行分类和校核，从而克服项目参差不齐的缺点，节省存储空间，提高处理速度。

专利号为CNB021457476A公开了一种超高速数据编码和解码装置及其数据发送系统，其使用了两个相关的音频压缩技术，以便RF电信系统能够容纳高速音频调制解调器和FAX机的数据信号。一个高速编解码器(Codec)使得电信系统能够以高达9.6kb/s的速度通过音频调制解调器和FAX传输。一个超高速Codec支持高达14.4kb/s的音频调制解调器和RAX传输。高速Codec利用三个16-相位RF时隙或四个8-相位RF时隙操作，超高速Codec利用四个16-相位RF时隙操作。由于这些Codec在可以是在邻接的数个RF时隙上发送信息，RF通信信道内的时隙被动态地分配。动态时隙/带宽分配特性检测和监视数据传输和从需要数量的时隙形成一个数据信道。

该方法针对现有技术中数据编码的效率低的问题，使用了压缩技术进行数据编码，但其压缩过程依然需要消耗资源，使得编码效率提升有限。

发明内容

有鉴于此，本发明的主要目的在于提供基于双重数据分解的数据编码系统及方法，其利用双重数据分解，将数据分解为域外数据和域内数据，针对域外数据和域内数据按照需求分别进行数据编码和数据加密，提升了数据编码的效率，同时提升了编码后数据的安全性。

为达到上述目的，本发明的技术方案是这样实现的：

基于双重数据分解的数据编码系统，所述系统包括：数据预处理单元、数据分解单元、数据编码单元、数据加密单元和数据组合单元：所述数据预处理单元，配置用于将待处理数据进行数据预处理，得到预处理数据；所述数据预处理过程至少包括：去除唯一属性、处理缺失值、数据规约和异常值检测及处理；所述数据分解单元，配置用于将预处理数据基于预设的阈值，分解为阈内数据和阈外数据；所述数据编码单元，配置用于将分解得到的阈内数据进行数据编码得到编码后数据；所述数据加密单元，配置用于将分解得到的阈外数据进行数据加密，得到加密后数据；所述数据组合单元，配置用于将编码后数据和加密后数据进行数据组合，完成数据的编码。

进一步的，所述数据预处理单元包括：去除唯一属性子单元、处理缺失值子单元、数据规约子单元和异常值检测及处理子单元；所述去除唯一数据子单元，配置用于去除待处理数据的唯一属性；处理缺失值子单元，配置用于处理待处理数据中的缺失值；数据规约子单元，配置用于对待处理数据进行数据规约处理；异常值检测及处理子单元，配置用于检测待处理数据中的异常值，将检测到的异常值进行处理。

进一步的，所述数据规约子单元对带锤炼数据进行数据规约处理的方法包括：去平均值、计算协方差矩阵、计算协方差矩阵的特征值与特征向量、对特征值从大到小排序、保留最大特征向量、将数据转换到特征向量构建的新空间中；最后得处理后的新的数据，这些数据之间两两不相干，但保持原有的信息。