[发明专利]一种基于互联网平台订单大数据的在线数据处理方法

权利要求书

1.一种基于互联网平台订单大数据的在线数据处理方法，其特征在于：包括如下步骤：

S1、构建处理平台：选择基于STORM模型框架，并加载MEMCACHED、FLUME、KAFKA以及ZOOKEEPER四组模块，且分别对应在线数据收集、在线数据缓冲、在线数据存储以及在线数据协调功能，在构建处理平台过程中，其环境构建步骤如下：

A、先依靠libuuid-devel、jdk、python、gcc_libuuid，uuid、c++、libtool中任一插件包，且用ZOOKEEPER提供工具封装服务，再修改各个用户在本平台的应用属性，且对应显示各个用户的IP地址；

B、根据对应用户进行profile文件编辑；

C、接着再对应用户产生的在线数据所在平台中的环境变量进行修改；

D、再对应用户产生的在线数据所在平台中的storm参数进行修改；

E、然后基于修改的环境变量和storm参数基础上，编辑添加对应各个用户的详细资料以及数据容量；

F、最后对应产生在线数据的各个用户自动生成后续查询的表格；

平台在对用户在线数据从主节点机上复制到其他从节点机上时，需要对应编辑环境变量和资源配置，且操作步骤如下：

a、使用CTRL C对应粘接主节点机上的各个用户产生的在线数据，再使用CTRL V对应复制到其他从节点机上，对应形成复制文件；

b、待各个用户在线数据复制到其他从节点机上后，再进入其他从节点机针对各个用户在线数据属性修改环境变量和资源配置，待修改后的环境变量和资源配置生效后，再根据ID值主节点机以及各个从节点机上的ZOOKEEPER内容即可；

S2、卫星数据定位采集单元：通过卫星和基站的通讯手段，对各个用户在线产生的数据进行定位和采集处理，待各个用户在线产生的数据定位和采集后，首先进入数据预处理阶段，获取各个用户在线数据的日志时间和位置，再利用二进制加密方式对获取的各个用户在线数据信息通过加密通道传送至数据处理阶段，再依次对加密后的各个用户在线数据进行提取、解压以及验证通过后发送至S1构建的STORM处理平台中，并依据位置和时间参数对发送的各用户在线数据进行存储，先对卫星的各项参数进行调整设定，且卫星各项参数调整设定步骤如下：

①、设置指定的采集值类型：采集值采集的各个用户产生的在线数据中通常含有伪距、载波相位、多普勒等采集量，再各个用户的在线数据处理时，有时仅仅会用到其中部分采集量，并对各个用户的在线数据进行挑选后再重新排列次序；

②、去掉指定卫星系统数据：在各个用户在线数据处理时，有时不会用到卫星的所有数据，需要摒弃用不上卫星系统中的部分自身数据，保留各个用户有效的在线数据；

③、设置数据采集间隔：在各个用户在线数据采集不需要间隔设定时，此时对卫星采集各个用户在线数据的时间间隔进行对应设定，根据卫星和基站的延迟时间进行间隔设定，可选用10s、20s、30s或60s作为间隔时间；

④、控制卫星高度角：若卫星的轨道高度角过低时，采集的各个用户在线数据采集质量会降低，从而需要根据基站地理位置情况，对卫星的高度角进行实时设定；

各个用户在线数据进行提取、解压以及验证通过后，采用最小二乘法和均残值法对各个用户在线数据基于提取钟差和坐标经纬度为依据建立x轴为时间，y轴为残值的柱线图，查看卫星残差和基站残差跟随时间的重叠点，再根据卫星自身的RMS统计模块对卫星和基站采集各个用户在线数据后的卫星残差值、基站残差值以及卫星残差值和基站残差值的均值，且最小值为0mm，最大值为25mm以及均值为12mm；

S3、在线数据分类：STORM处理平台再将接收的各用户在线数据按照流格式和串格式两种类型进行分类，并对应形成流格式在线数据集和串格式在线数据集，接着STORM处理平台将分类形成的流格式在线数据集和串格式在线数据集中的在线数据基于TCP/ID中的TCP协议或者UDP协议对应进行流格式数据集封装和串格式数据集封装处理，待流格式在线数据集和串格式在线数据集中的在线数据对应经过流格式数据集封装和串格式数据集封装处理后，再对应经过流格式数据集分解应用和串格式数据集分解应用处理，最后将处理完成的流格式在线数据集和串格式在线数据集中的在线数据对应打包发送至在线后台终端。