[发明专利]一种并行数据编码装置及方法

说明书

本发明涉及数据库技术领域，具体涉及一种并行数据编码装置及方法，所述装置包括：数据控制模块，用于启动编码；还用于向单通道编码模块输入中包数据；通道分配模块，用于分配单通道编码模块，并将通道ID反馈至数据控制模块；单通道编码模块，用于按照编码规则将中包配置信息和中包数据编码转换成64bit数据、将中包头首地址转换成存放地址；若干单通道编码模块同步运行；数据处理模块，用于将64bit数据存储在存放地址中，同时根据编码规则将64bit数据和存放地址编码大包头并存放在大包头首地址中。故本发明在将数据中的同一个数据类型通过触发多个通道去进行并行编码，得到编码数据之后再转换成多字节数据缓存起来以便后续处理。

技术领域

本发明涉及数据库技术领域，具体涉及一种并行数据编码装置及方法。

背景技术

随着数据量的增加，数据库访问延时越来越大，许多曾经在小数据上用传统方法很容易完成的任务，如今在大数据上就变得非常困难。目前最快的固态硬盘(SSD)存储可以达到12GB/s的读取速度，但即便这样的速度，如果数据库有15TB大小，想要用完整检索的方式完成一次查询仍然需要33小时。为了加快数据库查询速度，大都采用设计数据库专用处理器的方法来提高性能。

在数据库专用加速器中，数据管理复杂程度高，需要处理的数据格式复杂，为了快速处理数据，提升数据处理效率，需要对数据转化后再进行处理。现有技术中数据转化处理的方法复杂，对数据处理效率的提升并不明显，实用性不强。

为了解决上述问题，本发明提供了一种并行数据编码装置及方法。

发明内容

本发明的目的在于提供一种并行数据编码装置及方法，以解决现有技术中数据转化处理方法复杂导致实用性不强的问题。

本发明提供的并行数据编码装置，包括：数据控制模块，用于通过设立大包头首地址启动编码和输入若干中包的配置信息和中包头首地址；还用于根据单通道编码模块的通道ID向对应的单通道编码模块输入对应的中包数据；通道分配模块，用于接收若干中包配置信息，并为每个中包分配一个单通道编码模块，同时将每个中包对应的单通道编码模块的通道ID反馈至数据控制模块；单通道编码模块，用于接收中包配置信息、中包头首地址以及对应的中包数据，并按照编码规则将中包配置信息和中包数据编码转换成64bit数据、将中包头首地址转换成存放地址；若干单通道编码模块同步运行；数据处理模块，用于获取若干单通道编码模块中的64bit数据和存放地址，并将64bit数据存储在对应的存放地址中，同时根据编码规则将64bit数据的数据信息和存放地址编码成大包头并存放在大包头首地址中。

如上所述的并行数据编码装置，进一步优选为，所述单通道编码模块包括：编码模块，用于接收中包配置信息、中包首地址以及中包数据，按照编码规则编码成中包并存储在数据收发模块中，同时输出存储地址区间；地址选择模块，用于存储地址区间，并在存储空间充足时向数据收发模块输出存储地址区间；数据收发模块，用于存储中包和地址区间信息，还用于在收到存储地址区间时，根据存储地址区间取出对应的地址数据，并将地址数据与存储地址区间发送至数据转换模块；数据转换模块，用于将地址数据转换成64bit数据，将中包头首地址和存储地址区间转换成存放地址。

如上所述的并行数据编码装置，进一步优选为，所述编码规则为将接收的数据按照大包或中包数据的排列方式编码排列；其中，所述大包包括大包头和若干个中包，所述大包包括大包头、偏移值和若干个中包，所述大包头包括中包个数、中包总字节数、标记2、标志3和标志4；所述中包包括中包头和若干个小包，所述中包头包括小包个数、小包总字节数、Type、ID和标志5；其中Type和ID为中包配置信息；所述小包包括小包头和若干个小包数据；所述小包头包括小包长度。

如上所述的并行数据编码装置，进一步优选为，每个所述小包数据均包括空数据标识、中包末尾标识或小包末尾标识中的一种或几种，所述空数据标识、中包末尾标识和小包末尾标识用于指示数据位置。