[发明专利]数据库交互数据编码方法及装置

说明书

本发明提供一种数据库交互数据编码实现方法和装置，所述方法包括：设定存储模块内存储编码数据的初始地址；接收输入数据，将接收的输入数据作为中包中小包的数据本体依次存放于所述存储模块内从所述初始地址起除包头存储位置之外的地址，并对数据本体进行统计；根据小包边界信息确定当前小包内数据本体的数量，并将确定的数量填充到当前小包的小包头中；根据中包边界信息确定当前中包内小包的数量和中包数据量，并将确定的数据填充到当前中包的中包头中的小包数量信息位和中包数据量信息位；根据大包边界信息确定大包内中包的数量和大包数据量，并将确定的数据填充到大包头中的中包数量信息位和大包数据量信息位，以生成具有预定数据结构的大包。

技术领域

本发明涉及数据编码技术领域，尤其涉及一种数据库交互数据编码实现方法及装置。

背景技术

随着数据量的增加，数据库访问延时越来越大，许多曾经在小数据上用传统方法很容易完成的任务，如今在大数据上就变得非常困难。目前最快的固态硬盘(SSD)存储可以达到12GB/s的读取速度，但即便这样的速度，如果数据库有15TB大小，想要用完整检索的方式完成一次查询仍然需要33小时。为了加快数据库查询速度，大都采用设计数据库专用处理器的方法来提高性能。

数据库专用加速器是一种数据库专用处理器，在应用过程中，数据库专用加速器通常作为现在服务器(CPU)的协处理器角色出现。数据库专用处理器与CPU之间需要进行频繁的数据交互，在很多情况下数据交互性能成为整个CPU-数据库处理器系统的性能的关键。

在传统数据库系统中，各数据库管理系统都运行在CPU中，各数据库管理系统都有各自独立的内部数据存储结构，如B+树。同时，多数数据库管理系统为了节省存储空间，通常对数据压缩后进行存储。另外，在装有数据库专用处理器的数据库管理系统中，数据管理工作仍由运行在CPU上软件数据管理系统来负责，即数据主要存储在CPU端的主存DRAM中。而数据处理交由专用加速器实现，这就导致了CPU和加速器之间频繁的数据交换，同时两者之间数据格式不同在交换时需要实时转换。

数据库加速器在业界来说尚属新生事物，尚未形成标准的数据交互格式，为了尽可能优化CPU与数据库专用处理器之间数据交互性能，降低CPU端和加速器端数据转换延时，需要探寻一种高效的数据交互格式。

发明内容

有鉴于此，本发明实施例提供了一种数据库交互数据编码实现方法和装置，通过一种新的数据结构及其数据编码方式和实现装置，来进一步提升CPU与数据库专用处理器之间数据交互性能。

本发明的一个方面，提供了一种数据库交互数据编码实现方法，该方法包括以下步骤：

设定存储模块内存储编码数据的初始地址；

接收输入数据，将接收的输入数据作为中包中小包的数据本体依次存放于所述存储模块内从所述初始地址起除包头存储位置之外的地址，并对数据本体进行统计；

根据小包边界信息确定当前小包内数据本体的数量，并将确定的数量填充到当前小包的小包头中；

根据中包边界信息确定当前中包内小包的数量和中包数据量，并将确定的数据填充到当前中包的中包头中的小包数量信息位和中包数据量信息位；

根据大包边界信息确定大包内中包的数量和大包数据量，并将确定的数据填充到大包头中的中包数量信息位和大包数据量信息位，以生成具有如预定数据结构的大包；

其中，所述预定数据结构的大包包括：大包头和至少一个中包，各中包包括中包头和至少一个小包，各小包包括小包头和至少一个数据本体；所述大包头包括中包数量信息位和大包数据量信息位，所述中包头包括小包数量信息位和中包数据量信息位，所述小包头包括数据本体数信息位。

可选的，所述小包边界信息、中包边界信息和大包边界信息分别为小包末尾数据标志、中包末尾数据标志和大包末尾数据标志。