[实用新型]一种轨迹大数据特征提取装置

说明书

本实用新型提供了一种轨迹大数据特征提取装置，包括任务调度模块、特征提取模块和数据存储模块。特征提取模块连接任务调度模块和数据存储模块：数据存储模块包括MongoDB数据库，特征提取模块包括Spark开发环境。本实用新型利用MongoDB数据库分布式存储大规模数据，通过MongoDB数据库对海量数据进行存储和管理，结合Spark开发环境对海量数据进行快速的特征提取，Spark开发环境能运行在多个结点上，并达到秒级延迟，并且能集成Spark开发环境的批处理和交互查询。加快了数据读取速度和数据处理速度，满足轨迹大数据的实时性分析需求。

技术领域

本实用新型涉及一种特征提取装置，尤其是指一种轨迹大数据特征提取装置。

背景技术

随着物联网和无线技术的发展，轨迹数据的采集不再局限于人类便携式设备，而是包括具有传感器和通信设备的动物以及具有自动移动功能的机器。针对这些海量移动节点的轨迹大数据进行实时性分析有助于提高物联网系统基于位置信息的服务质量。

现有的轨迹数据分析装置通常以文本的形式存储具有时间戳的节点位置坐标，无法满足海量节点的大容量存储和管理需求；而针对这些位置坐标的特征分析，现有的装置需要用户进行数据导入，无法满足轨迹大数据的实时性分析需求；节点位置坐标由于采集过程中不可避免地存在信息冗余情况，现有的装置无法主动去除上述无效数据条目，增加了轨迹数据分析的无效计算时间，影响轨迹数据的特征提取准确性。

实用新型内容

本实用新型所要解决的技术问题是：现有装置面向数据更新实时性较差。

为了解决上述技术问题，本实用新型提供了一种轨迹大数据特征提取装置，包括任务调度模块、特征提取模块和数据存储模块，所述特征提取模块连接任务调度模块和数据存储模块，所述数据存储模块包括MongoDB数据库，所述特征提取模块包括Spark开发环境，其中，

所述任务调度模块，用于接收用户请求，根据用户选择的时间范围和特征提取选项，向所述特征提取模块发送指令，接收所述特征提取模块提取后的数据；

所述特征提取模块，用于接收由所述任务调度模块发送的用户请求，根据用户选择的时间范围，向所述数据存储模块发送查询指令，并将接收到的所述数据存储模块获得的数据进行特征提取并发送给所述任务调度模块；

所述数据存储模块，用于存储轨迹大数据，根据所述特征提取模块发送的查询指令进行分布式查询和计算，并将查询和计算的结果反馈至所述特征提取模块；

所述MongoDB数据库，用于存储经过预处理的数据；

所述Spark开发环境，用于处理原始数据及经过处理的数据的特征提取。

进一步地，所述数据存储模块包含的MongoDB数据库内置分布式文件系统，所述分布式文件系统包括：

数据压缩模块，用于数据的压缩；

存储模块，用于数据的存储；

索引模块，用于检索所需数据。

进一步地，所述数据存储模块采用分布式集群配置，包括主服务器和副本节点。

进一步地，所述特征提取模块包含的Spark开发环境包括：

数据预处理模块用于清洗数据、分割数据与排序；

数据特征提取模块用于特征提取。

进一步地，所述特征提取模块的Spark开发环境同时采用分布式集群配置，包括中心协调器(Driver)、主节点(Master)和次节点(Worker)。

进一步地，所述任务调度模块包括：

输入模块，用于原始轨迹大数据传入所述特提取模块；