[发明专利]基于时间序列的大数据编解码方法及装置

权利要求书

1.一种基于时间序列的大数据编解码方法，其特征在于，包括：

获取基于时间序列的原数据，采用预设的数据模式对所述原数据进行编码形成数据帧；

将新产生的数据帧与同一数据模式下的参考数据帧做差分运算，并以差分值更新所述数据帧中的属性值；

将所述数据帧切分成多个数据传输片段，通过对所述传输片段压缩后封装成数据传输单元并由编码段发送至解码端；

利用解码端对所述数据传输单元解压缩后复原所述传输片段，组装得到所述数据帧存储于数据系统中。

2.根据权利要求1所述的方法，其特征在于，针对结构化和/或半结构化的原数据采用二进制编码结合重复字符步长编码的方式定义数据模式；

所述数据模式中将字节的8比特位拆分成两部分，第一部分表示字符的比特编码，第二部分表示字符的连续重复次数；

所述数据模式中包括字符与比特编码的对应关系。

3.根据权利要求2所述的方法，其特征在于，第一部分的比特编码通过前6位比特编码表示，第二部分的比特编码通过后2位比特编码表示。

4.根据权利要求1至3任一项所述的方法，其特征在于，采用预设的数据模式对所述原数据进行编码形成数据帧的方法包括：

识别原数据中的属性部和属性值部，并分别构建属性部的第一编码结构和属性值部的第二编码结构；

将属性部中数据模式名称的字节数N1存入第一编码结构的第1字节位，接着将数据模式名称的N1个字节依次存入后续的N1个字节位，再接着将其中属性的个数N2存入后续的1个字节位中，紧接着在后续的N2个字节位中依次存储每个属性的字节长度，最后接入N2个字节段，每个字节段中包含了所对应属性的类型编码、取值范围和属性名称的全部字节内容，完成对属性部中数据模式段的编码；

解析原数据中数据模式的字节码，得到属性名称的有序列表，依序对有序列表中的属性值进行二进制编码，并将编码后的属性值顺序组装成至少一个数据段依序存入第二编码结构，完成对属性值部中数据段的编码；

根据数据帧序列号生成器生成的序列号、数据模式段长度、数据段数量、数据生成时间戳和采集时间戳编码数据帧头的字节码数据；

按照数据帧头、数据模式段和数据段的顺序组装形成所述数据帧。

5.根据权利要求4所述的方法，其特征在于，将新产生的数据帧与同一数据模式下的参考数据帧做差分运算，并以差分值更新所述数据帧中的属性值的方法包括：

指定一个数据帧为参考数据帧，通过解析参考数据帧中的数据模式段长度和数据段数量，定位起始数据段的偏移量；

解析参考数据帧中的数据模式段得到每个属性值的字节数，通过汇总每个属性值的字节数得到每个数据段的长度；

根据起始数据段的偏移量、每个数据段的长度以及数据模式段长度和数据段数量得到每个数据段的偏移量；

基于上述逻辑识别出同一数据模式下新产生数据帧中各数据段的属性值，通过比较新产生数据帧与参考数据帧中属性值的差值，并将新产生数据帧中的属性值更新为差值，同时更新数据模式段中属性的类型编码。

6.根据权利要求5所述的方法，其特征在于，在步骤将所述数据帧切分成多个数据传输片段，通过对所述传输片段压缩后封装成数据传输单元并由编码段发送至解码端之前还包括：

预设数据传输片段的数据结构，所述数据传输片段包括头部和数据体；

所述头部的信息包括数据传输片段的唯一序号编码、数据传输片段的长度、标志位、数据帧标识和数据帧长度，所述数据帧标识包括数据模式序号和数据帧序号；

所述数据体包括数据段的属性值。

7.根据权利要求6所述的方法，其特征在于，将所述数据帧切分成多个数据传输片段的方法包括：

参考预设的数据传输片段的数据结构，将所述数据帧中的多个数据段切分成多个数据传输片段。