[发明专利]一种基于NoSQL和分布式文件系统的物联网存储系统

权利要求书

1.一种基于NoSQL和分布式文件系统的物联网存储系统，其特征在于，包括：

NoSQL交互模块，负责控制NoSQL数据库连接池的配置和创建，并负责控制将临时数据和持久数据的索引数据存储到NoSQL数据库；

分布式文件系统交互模块，负责控制对分布式文件系统的连接，同时负责控制数据以文本形式存储进分布式文件系统，并获取其索引信息；

时序索引模块，负责控制时序数据在存储系统中的归档，已归档临时数据的删除，以及提供时序索引能力；

持久化模块，负责控制NoSQL中单个大数据对象持久化到分布式文件系统中。

2.根据权利要求1中所述的一种基于NoSQL和分布式文件系统的物联网存储系统，其特征在于：所述NoSQL交互模块包括第一配置文件读取模块、NoSQL数据库连接模块、键值存储模块和有序哈希表存储模块，其中：

所述第一配置文件读取模块负责从配置文件中读取NoSQL数据库的配置，包括主机名、端口号、连接超时判定时间、数据库连接池配置和数据库扫描数限制；

所述NoSQL数据库连接模块负责根据第一配置文件读取模块读取到的配置连接NoSQL数据库，维护数据库连接池；

所述键值存储模块负责根据唯一的键从NoSQL中存储数据，根据唯一的键从NoSQL中获取数据，根据部分键内容模糊匹配并获取数据，根据键范围匹配并获取数据；

所述有序哈希表存储模块负责根据哈希表名和哈希表中唯一的键向NoSQL中存储数据，根据哈希表名和哈希表中唯一的键从NoSQL中获取数据，根据部分哈希表名内容模糊匹配哈希表名，根据哈希表名和部分键内容模糊匹配并获取数据，根据哈希表名和键范围匹配并获取数据。

3.根据权利要求1中所述的一种基于NoSQL和分布式文件系统的物联网存储系统，其特征在于：所述分布式文件系统交互模块包括第二配置文件读取模块、分布式文件系统连接模块和文件操作模块，其中：

所述第二配置文件读取模块负责从配置文件中读取分布式文件系统的配置，包括分布式文件系统调度服务器主机名、分布式文件系统调度服务器端口号、连接超时判定时间、数据读取超时判定时间和最大连接线程数；

所述分布式文件系统连接模块负责根据第二配置文件读取模块读取到的配置连接分布式文件系统调度服务器，维护连接线程池；

所述文件操作模块负责上传数据到分布式文件系统并返回能从分布式文件系统中获取该数据的唯一键，根据唯一键从分布式文件系统中下载对应的数据，根据唯一键从分布式文件系统中删除对应的数据。

4.根据权利要求1中所述的一种基于NoSQL和分布式文件系统的物联网存储系统，其特征在于：所述时序索引模块包括第三配置文件读取模块、时序数据存储模块、时序数据归档模块、时序数据删除模块和时序数据查找模块，其中：

所述第三配置文件读取模块负责从配置文件中读取用户设置的需归档键、归档时间间隔、临时数据清理时间间隔和触发临时数据清理需要的最小数据数；

所述时序数据存储模块负责通过键值对将临时时序数据存储进NoSQL，同时存储时间信息；

所述时序数据归档模块负责根据第三配置文件读取模块获取的归档时间间隔，将第三配置文件读取模块获取的用户设置的需归档键在NoSQL中的临时时序数据取出，合并为统一的文件上传到分布式文件系统，并将返回的分布式文件系统文件Id存储到NoSQL中；

所述时序数据删除模块负责根据第三配置文件读取模块获取的临时数据清理时间间隔，将第三配置文件读取模块获取的用户设置的需归档键在NoSQL中的临时时序数据数与第三配置文件读取模块获取的临时数据清理需要的最小数据数做比较，若大于，则将这些临时文件清除；

所述时序数据查找模块负责根据键和时间信息，判断数据所在的位置并获取数据以及根据键和时间范围，从NoSQL和分布式文件系统中获取符合的全部数据，并合并为一个表返回给用户。

5.根据权利要求1中所述的一种基于NoSQL和分布式文件系统的物联网存储系统，其特征在于：所述持久化模块包括第四配置文件读取模块、持久化数据存储模块和持久化数据获取模块，其中：

所述第四配置文件读取模块负责从用户配置读取持久化任务工作时间间隔和持久化键；

所述持久化数据存储模块有以下两种工作方式：a、当用户未指定数据直接存储到分布式文件系统时，负责先将数据存储到NoSQL中，再根据第四配置文件读取模块获取的持久化任务工作时间间隔将第四配置文件读取模块获取的持久化键对应的数据存储到分布式文件系统中，并更新NoSQL中该持久化键的值为从分布式文件系统返回的对应的文件Id；b、当用户指定数据存储到分布式文件系统时，负责将数据上传到分布式文件系统中，并将键和从分布式文件系统返回的对应文件的文件Id存储到NoSQL中；

所述持久化数据获取模块负责根据用户提供的键对应的NoSQL中的值的数据格式，判断该值为文件Id或是数据，若为文件Id，则从分布式文件系统下载该数据返回给用户；若为数据，则直接返回给用户。