[发明专利]一种吸收光谱数据的自适应实时压缩方法与系统

权利要求书

1.一种吸收光谱数据的自适应实时压缩方法与系统，其特征在于，系统由激光器控制模块、预处理模块、提升小波变换模块、量化模块、位数处理模块、改进游程编码模块和数据传输模块组成，通过激光器控制模块控制激光器调制激光的扫描波长和输出功率，按照设定的函数进行波形扫描，使用激光器控制模块的设定函数对可调谐半导体激光吸收光谱(Tunable Diode Laser Absorption Spectroscopy，简称TDLAS)系统的采集卡采集到的吸收光谱信号依据波形的不同特点进行切分预处理，将预处理后的吸收光谱信号进行5/3提升小波变换，对得到的小波系数进行自适应的量化处理和位数保留处理，完成第一级数据压缩，将第一级压缩结果进行改进游程编码处理，实现第二级数据压缩，进一步提高压缩比，并将压缩数据打包，以流水线方式传输并存储到内存中。

2.按照权利要求1所述的一种吸收光谱数据的自适应实时压缩方法与系统，其特征在于，系统由激光器控制模块、预处理模块、提升小波变换模块、量化模块、位数处理模块、改进游程编码模块和数据传输模块组成，每个模块使用同一时钟源，保证各模块之间的同步工作；

激光器控制模块101可以控制激光器调制激光的扫描波长和输出功率，按照设定的激光扫描函数进行波形扫描；预处理模块102使用激光器控制模块的设定函数对TDLAS系统的采集卡采集到的吸收光谱信号依据不同的波形特点进行切分预处理，切分后数据进行舍弃和保留操作：冗余度极高、几近常值的数据进行舍弃，只保留其部分主要特征值；冗余度低、波动性较强的数据全部保留，再依据扫描阶段的不同进行分组，每组在后续压缩中使用相同方法，但主要处理参数不同；

提升小波变换模块103使用5/3整数提升小波变换对预处理模块102保留的数据进行第一级数据压缩：

首先采用奇偶分频方式，将信号分裂为奇信号和偶信号；

再对奇、偶信号进行运算，实现提升小波变换预测步骤，得到细节系数d，预测变换公式为：

其中d_i表示细节系数(高通系数)，x_i表示待处理的吸收光谱信号数据，L表示待处理的吸收光谱信号的数据点数的i表示从1开始的序列号，i∈[1,2，...，L]；

对细节系数和吸收光谱信号数据进行更新算子的计算，得到提升小波变换特征系数a，更新变换公式为：

其中，a_i表示特征系数(低通系数)，依次进行总分解层数为n的提升小波变换，每次分解层数为j(j∈[1,2,...,n])，直至分解完毕，每一层分解得到细节系数d_j和特征系数a_j，其数据长度L_j计算公式为：

最终保留全部细节系数d_j和最后一次分解得到的特征系数a_n；

量化模块104根据提升小波变换的分解层数，确定小波系数的通用阈值(VisuShrink阈值)和硬阈值函数，将小波系数以整数形式进行后续处理，通用阈值和硬阈值函数分别为：

其中，σ为噪声方差，通用阈值λ与信号尺寸的对数的平方成正比；

其中，w为小波系数，最终确定的量化区间为[-λ,λ]，在其区间内的小波系数均采用硬阈值函数置零；超过此区间的数值，若为小数，则向上取整，以减少数据量；

位数处理模块105在保留特征系数a_n全部数据的同时，分别对不同分解层数的全部细节系数d_j进行不同数据位数阈值处理，其中阈值矩阵β设置为：

β＝[β₁,β₂,...,β_n] (6)

其中，n为小波分解层数，由于较低分解层数的细节系数d_j数值较小，因此用最少的比特数来表示，即位数阈值β_j较小，随着j增大，逐渐提高位数阈值β_j，通过自适应地调整数据位数阈值来控制小波压缩的压缩比和压缩损失，得到第一级数据压缩结果，按照实际需要可实现从无损压缩到有损压缩的切换；

改进游程编码模块106将第一级压缩数据进行数据位数分割，将数据分为高位部分和低位部分，高位部分进行改进游程编码压缩，低位部分全部保留，与高位处理后的数据分开存储，数据传输模块107将每组改进游程编码的编码结果按照头字节和小波压缩的相反顺序采取流水线控制进行打包发送，传输到内存中存储，其中数据重建所需小波分解层数、数据长度和数据位数阈值均已知，可以顺利用于数据压缩的重建。

3.按照权利要求1所述的一种吸收光谱数据的自适应实时压缩方法与系统，其特征在于，改进游程编码算法利用第一级压缩数据的高、低位的数据重复性的不同，对不同小波系数和其高、低位数据进行不同的压缩处理，其步骤为：

对第一级数据压缩的数据进行位数分割，分为高位部分和低位部分，设此数据共有N₁位，高位部分共有N₂位，则低位共有N₁-N₂位，具体的N₂值可通过参数进行设定，以达到最理想的压缩率；基于数据的高位部分的高重复性，使用改进游程编码算法对高位数据进行无损压缩，对特征系数和细节系数的高位部分数据采用不同的压缩方法，具体方法如下：

对于特征系数a的高位数据，首先取第一个数据进行编码，对其进行位数扩展并输出，即添加一位最高位作为标志位，以0表示下一个数据与当前数据不同，即下一个编码代表一个新的特征系数高位值；以1表示下一个数据与当前数据相同，即下一个编码代表相同数据的数量；进行数据遍历，当遇到相同数据时，对相同数据数量进行计数；遇到不同数据时，输出计数值，而后继续对新的数据按照上述方法进行编码，直至结束；规定表示特征系数的数据数量的编码位数与其扩展后的高位数据的位数保持一致；

基于细节系数的小波动性，对细节系数d的高位部分不进行位数扩展处理，直接使用游程编码算法进行压缩，对一串待编码细节系数数据，首先取第一个数据进行编码，将数据真实值作为首个编码输出，而后对相同数据个数进行计数；进行数据遍历，当遇到相同数据时，对相同数据数量进行计数；遇到不同数据时，输出计数值，而后继续对新的数据按照上述方法进行编码，直至结束；规定表示细节系数的数据数量的编码位数与其高位数据的位数保持一致；

所有数据的低位部分不进行压缩编码，直接输出，并保证高、低位部分分开存储；之后在上位机解压时将高、低位数据进行拼接以完成吸收光谱数据的重建。