[发明专利]基于二进制编码的DNS数据压缩、解压缩方法及系统

说明书

技术领域

本发明涉及一种基于二进制编码的DNS数据压缩、解压缩方法及系统，属于计算机网络技术领域。

背景技术

域名系统(Domain Name System，DNS)是互联网基础设施提供的一项核心服务，系统包括可以将域名和IP地址相互映射的一个分布式数据库，以及实现域名和网络可以识别的IP地址转换功能的系统。

DNS经过几十年的发展，已经成为目前全球最大、最复杂的分布式数据库系统，具有良好的扩展性和高效的解析性能。同时，巨大的工作量使得DNS系统产生了海量的数据。现有的系统一般都是使用字符编码的方式保留原始日志。

现有技术的缺陷是：

DNS海量的查询和应答服务产生了巨大日志量，一方面这些日志需要在本地进行保存，另一方面很多任务都需要跨地区、跨网段进行日志传输。目前缺乏一种稳定有效的日志压缩技术来提高日志保存和传输的效率。因此，如果开发出能稳定高效运行的日志压缩系统能大大的推动目前的各项工作。

发明内容

针对现有技术中存在的技术问题，本发明的目的在于提供一种基于二进制编码的DNS数据压缩、解压缩方法及系统；本发明改进的方向为：

1)设计高效的DNS信息压缩算法；

2)使用二进制编码方式进行日志存储，提高压缩比例；

3)设计优良的系统架构，保证系统能进行企业级应用。

本发明的技术方案为：

一种基于二进制编码的DNS数据压缩、解压缩系统，其特征在于包括一数据读取模块，一二进制编码模块，一数据压缩模块，一二进制解码模块，一数据解压模块；其中

所述数据读取模块，用于从DNS数据源文件中读取日志信息后，将数据打包放到一缓存队列中；

所述数据压缩模块，用于从所述数据缓存队列中取出数据并压缩后，将其存储到一压缩信息缓存中；

所述二进制编码模块，用于从所述压缩信息缓存中取出数据并进行二进制编码后保存到一结果文件中；

所述二进制解码模块，用于将所述结果文件中二进制编码压缩日志信息进行二进制编码解压后，保存到压缩信息缓存中；

所述数据解压模块，用于从压缩信息缓存中取出数据，将其存储到一解压信息缓存中；然后从该解压信息缓存中取出数据并进行解压得到日志记录信息。

一种基于二进制编码的DNS数据压缩方法，其步骤为：

1)数据读取模块从DNS数据源文件中读取日志信息后，将数据打包放到一缓存队列中；

2)数据压缩模块从该数据缓存队列中取出数据并压缩后，将其存储到一压缩信息缓存中；

3)二进制编码模块从该压缩信息缓存中取出数据并进行二进制编码后保存到一结果文件中。

进一步的，采用可变长度整型编码规则进行所述二进制编码；所述可变长度整型编码的最大长度为128字节。

进一步的，二进制编码后的每个数据域包括标志字段和数据字段两部分；其中，标志字段用于指明数据的类型和数据在消息结构体中的序号，数据字段用于存储数据的值；一个DNS数据包二进制编码后对应一个消息结构体。

进一步的，所述数据压缩模块对日志信息中的时间数据信息进行压缩，其方法为：首先从所述缓存队列中读取一条记录，如果是首条记录则保留该记录完整的时间格式；否则判断当前记录的在设定级时间域及其上级时间域的时间与上一条记录的对应级时间域是否相等，如果相等，则只保留设定级时间域下一级时间的时间；如果不相等，则判断当前记录时间与上一记录时间间隔是否大于设定阈值，如果大于该阈值，则保留当前记录完整的时间格式，否则比较设定级时间域下一级时间的时间，如果当前记录设定级时间域下一级时间小于上一条记录对应时间，则只保留当前记录设定级时间域的下一级时间域的时间，否则保留当前记录完整的时间格式。

进一步的，所述设定级时间域为秒时间域，所述阈值为1秒。

进一步的，从缓存队列取出数据的时候，用哈希表做为域名和IP地址信息压缩的辅助结构。