[发明专利]基于传感器监测数据文件的数据库管理系统

说明书

本发明提供了一种基于传感器监测数据文件的数据库管理系统，包括：关系型数据库管理子系统和文件外部数据包装器；关系型数据库管理子系统，用于创建数据库和外部表，同时用于接收来自客户端的检索条件，并根据所述检索条件查询所述的外部表，进而直接访问传感器监测数据文件，并以结构化数据格式返回；文件外部数据包装器，用于根据外部表的查询命令的检索条件，获取传感器监测数据文件对应的路径和文件名，然后读取文件内容、解析文件内容并将文件内容格式化成结构化数据，并将所述结构化数据返回给外部表的查询命令。本系统可以提高对监测数据文件访问的灵活性和访问效率。

技术领域

本发明涉及数据库管理技术领域，尤其涉及一种基于传感器监测数据文件的数据库管理系统。

背景技术

在现今的大数据时代，各个领域都大量的使用监测设备，通过传感器实时监控和检测各种对象的状态数据，比如环保领域中空气的PM2.5数值、地震预测领域中的震感电磁信号和新能源汽车关键零部件的温度等等。许多监测设备和传感器生成的是专用格式的数据文件，多为几分钟或者几秒钟生成一个小文件，文件是按时间、设备号、信号类型等特征分子目录有规律存放，但数量极为庞大，数据总量还是海量的。一般的情况下，要使用这些数据，有两种方法：第一：转换成结构化数据以文本方式访问；第二：导入数据库。其缺点为：第一种方法由于单个文件小且数量庞大，会因文件系统inode数量过大而导致访问效率极低，且转换成结构化文本也非常麻烦，所以只能在需要用到特点数据的时候进行部分文件的下载和转换，严重影响使用者的工作效率，每次分析文件数据内容至少需要几十分钟；第二种方法由于数据量太大，每年几十TB到几百TB量级的数据需要入库，必然会使用分布式的数据库系统，这个平台的建设费用将会比较高昂，且架构的复杂程度会导致运维的难度很高。

因此，亟需一种可以提高对监测数据文件访问的灵活性及效率的系统。

发明内容

本发明提供了一种基于传感器监测数据文件的数据库管理系统，以解决以上问题。

为了实现上述目的，本发明采取了如下技术方案。

本发明提供了一种基于传感器监测数据文件的数据库管理系统，包括：关系型数据库管理子系统和文件外部数据包装器；

所述的关系型数据库管理子系统，用于创建数据库和外部表，同时用于接收来自客户端的检索条件，并根据所述检索条件查询所述的外部表，进而直接访问传感器监测数据文件，并以结构化数据格式返回；

所述的文件外部数据包装器，用于根据外部表的查询命令的检索条件，获取传感器监测数据文件对应的路径和文件名，然后读取文件内容、解析文件内容并将文件内容格式化为结构化数据，并将所述结构化数据返回给外部表的查询命令。

优选地，关系型数据库管理子系统，具体用于基于所述的文件外部数据包装器创建外部数据包装器服务FDW SERVER，然后基于所述的FDW SERVER创建外部表。

优选地，关系型数据库管理子系统包括：SQL模块、扩展功能模块和关系型数据库存储模块；

所述的SQL模块，用于接收客户端的检索条件和解析SQL查询命令；

所述的扩展功能模块，用于加载所述的文件外部数据包装器，创建基于所述文件外部数据包装器的FDW SERVER；

所述关系型数据库存储模块，用于存储基于所述FDW SERVER的外部表。

优选地，FDW SERVER，用于调用所述文件外部包装器，并将SQL语句的操作和参数传递给所述文件外部数据包装器以及接收所述文件外部数据包装器的返回结果。

优选地，文件外部数据包装器包括：定位模块和解析模块；