[发明专利]一种大数据采集分析系统

说明书

技术领域

本发明涉及大数据处理领域，具体涉及一种大数据采集分析系统。

背景技术

随着海量数据，大数据时代的来临，商业应用要面对大数据的处理能力的要求越来越高。针对于大数据的分析处理，目前多采用分布式存储技术及分布式计算技术。对于当前流行的分析型的商业应用程序，都有自身分析的技术及模型，需要把数据收集到自身的程序中再进行针对的分析技术。但当面对大数据分析时，当前的很多商业应用程序如果同时加载大数据到应用程序所在的服务器上，会造成超负载致使程序崩溃，同时现有的数据分析系统无法进行数据的仿真模拟分析，从而导致数据分析结果较为片面。

发明内容

为解决上述问题，本发明提供了一种大数据采集分析系统，将系统分成若干个控制终端和目标数据采集终端节点，从而实现了数据的分开加载；系统自带的数据处理功能，完成数据的处理和审核，在实现数据库实时更新的同时，避免了数据的重复、冲突；实现了数据的可追溯性，基于Flac3D的数值模拟计算不同数据所对应的模型，提高了分析的精确度，实现了数据的仿真分析。

为实现上述目的，本发明采取的技术方案为：

一种大数据采集分析系统，包括远程服务器、主控制器和各终端节点，各终端节点包括各个控制终端以及目标数据采集终端，各个目标数据采集终端之间通过连接无线传输模块以自组网的方式与主控制器连接起来，形成一个有效的内部网络；目标数据采集终端将采集到的数据经内部网络以无线的方式传输至主控制器，主控制器作为内部网络与处于互联网中远程服务器的连接枢纽，在经一定的分析处理后，将这些数据经互联网发送至远程服务器，并将部分采集到的有用信息显示到主控制器的显示屏上；主控制器在接收目标数据采集终端节点发来信息的同时也接收来自于远程服务器以及人机交互界面的指令，经系统网关的相关协议转换和处理后发送给各个目标数据采集终端节点和控制终端，实现对监测范围内目标数据的采集设备状态的修改；远程服务器将接收到的来自不同账号的数据存储到数据库中，形成一个缜密有序的控制链；所述主控制器内设有

数据挖掘模块，用于根据预设的算法从接收到的数据信息中挖掘主要信息，并将挖掘到的数据发送到数据分析模块；

数据分析模块，用于根据人机操作模块输入的分析要求选取对应的分析算法对完成处理后的数据进行统计分析，并将统计分析后的结果发送到显示屏进行显示；

中央处理器，用于将接收人机操作模块所输入的数据，并将其转换成物理模型建立模块所能识别的数据发送到物理模型建立模块；用于接收人机操作模块以及远程服务器输入的控制命令并按照预设的算法将这些命令发送到指定的模块；

物理模型建立模块，用于接收人机操作模块发送的数据，并根据接收到的数据以及中央处理器发送的控制命令通过Flac3D建立数据物理模型；

虚拟作动器，用于驱动参数变化的，与物理模型建立模块中的各元素建立关系后，可以在指定的范围内对参数进行变动，从而可以驱动分析方法针对不同的参数进行计算求解；

虚拟参数模块，用于在数据物理模型中插入各类型的可直接获取相应的结果或信息的目标的逻辑单元；

仿真分析模块，用于输入可以分解为设计变量、设计目标和设计约束的参数、算法，并将输入参数、算法划分为单元、特性和载荷，分别作用到指定的模块上；

所述虚拟作动器通过循环执行仿真分析模块输入的参数或算法将结果反馈给仿真分析模块，所述仿真分析模块自动提取数据给虚拟参数模块，所述虚拟参数模块自动显示数据；

专家评估模块，用于储存各类典型的数据以及其对应的评估结果，用于将接收到的数据与所存储的数据进行类似度对比，并将比对结果按照相似度进行升序或降序排序后，发送给显示屏；内设一网络爬虫进程，用于在网络中查找与所的数据相关的网页或文档，并将查询结果发送到显示屏。

优选地，所述数据分析模块包括

图形绘制模块，用于绘制并监测根据所述监测数据得出的各种曲线图；

回归计算模块，用于通过不同函数对实测数据曲线进行回归计算；

预测分析模块，用于预设的算法对所监测到的数据发展情况进行预测评估。