[发明专利]一种基于计算机的大数据分析控制系统及控制方法

摘要

本发明属于大数据分析领域，公开了一种基于计算机的大数据分析控制系统及控制方法，所述基于计算机的大数据分析控制系统包括数据采集模块，数据计算模块，数据存储模块，数据提取与分析模块，数据服务模块。本发明提升了大数据存储的安全性，通过将不同类别的存储数据与相应的存储安全策略进行关联，如将银行卡的证书类文件直接设置为只读操作或加密操作；如对一般的多媒体文件可设置为通常的读写操作；如对文本文件可设置为加密操作，以防止信息泄露；同时用户可根据自身的个性化需要将每种类别的存储数据设置对应的存储安全策略。

主权项

一种基于计算机的大数据分析控制系统，其特征在于，所述基于计算机的大数据分析控制系统包括：数据采集模块，数据计算模块，数据存储模块，数据提取与分析模块，数据服务模块；数据采集模块：通过RFID射频数据，传感器数据，社交网络数据，移动互联网数据等方式获得各种类型的结构化，半结构化及非结构化的海量数据；所述数据采集模块利用regress函数作多元线性回归分析方法包括：对于自变量x1，x2，x3…xp和因变量y的n次独立观测，y关于x1，x2，x3…xp的p重广义线性回归模型公式：数据计算模块：用于批量计算首先进行数据的存储，然后再对存储的静态数据进行集中计算；所述数据计算模块的数据聚合方法的步骤如下：步骤一，在面积为S＝LL的部署区域内，随机分布N个同构的无线传感器节点，sink节点位于部署区域之外，节点处理整个无线传感器网络内收集到的数据；步骤二，非均匀成簇sink节点位于部署区域的上方；首先部署区域X轴划分为S个泳道，所有泳道有相同的宽度w，并且每个泳道的长度与部署区域的长度相等；用从1到s作为泳道的ID，最左端的泳道的ID为1，然后每个泳道沿着y轴划分为多个矩形网格，每个泳道中的每个网格都被定义一个水平，最下端的网格的水平为1，每个网格和每个泳道有相同的宽度w；每个泳道中网格的个数、长度与泳道到sink的距离有关；通过设置网格的长度来调整网格的大小；针对不同的泳道，距离sink越远的泳道含有的网格数目越小；针对同一泳道，距离sink越远的网格的长度越大；假设A中含有S个元素，第k个元素表示在第k个泳道中网格的数目；每个网格用一个数组(i，j)作为ID，表示第i个泳道有水平j；定义S个数组表示网格的长度，第v个数组Hv表示第v个泳道中网格的长度，并且Hv的第w个元素hvw表示网格(v，w)的长度；网格(i，j)的边界为：o_x+(i‑1)×w＜x≤o_x+i×wo_y+Σk=1k≤j-1hik<y≤o_y+Σk=1k≤j-1hik]]>非均匀网格划分好之后进行成簇阶段；算法分为很多轮进行，在每轮中选取每个网格中剩余能量最大的节点作为簇首节点，其余节点根据就近原则加入簇，然后再进行数据聚合；步骤三，格拉布斯预处理传感器节点需要对收集的数据进行预处理，然后再向簇首节点传输数据；采用格拉布斯预准则对传感器节点所采集到的数据进行预处理假设某个簇首节点含有个传感器节点，传感器节点收集到的数据为x1,x2,…,xn，服从正态分布，并设：vi＝xi‑x0，根据顺序统计原理，计算格拉布斯统计量：gi=xi-x0δ;]]>给定显著性水平(α＝0.05)之后，测量值满足gi≤g0(n,α)，则认为测量值有效，测量值参与到下一层次的数据聚合；反之，则认为测量值无效，因此需要剔除，即不参与到下一层次的数据聚合；步骤四，自适应聚合算法通过迭代得到各个节点测量数据的无偏估计值，求取各个传感器节点的测量数据值与估计值之间的欧式距离，以归一化的欧式距离作为自适应加权融和的权值；选用簇中的传感器节点采集到的数据的最大值与最小值的平均值作为中心数据；某个簇中有个传感器节点，用维列向量D＝(d1,d2,…,dn)表示相应节点的测量值，通过计算各个节点数据与中心数据的欧式距离反应不同节点数据与中心数据之间的偏差大小，其中li的计算公式为：li=(di-T)2;]]>根据欧式距离自适应设定相应的权值大小，距离越大权值越小，距离越小权值越大；wi=1/(li/Σi=1n1/li);]]>其中wi为相应的权值；数据存储模块：通过列存储、粗粒度索引多项大数据处理技术，再结合MPP架构高效的分布式计算模式，完成对分析类应用的支撑；数据提取与分析模块：用于进行数据提取转化加载；数据服务模块：通过web应用服务器和Open API服务器以web调用和Open API调用的方式提供大数据存储、管理及挖掘服务；终端用户利用移动智能终端通过互联网访问门户服务中心，使用提供的大数据存储、管理及挖掘服务；所述终端的极限容量计算方法如下：利用Laguerre多项式计算得到：C=∫0∞log2(1+1ntξλΣk=0m-1k!(k+n+m)![Lkn-m(λ)]2λn-me-λdλ;]]>其中，m＝min(Nt,Nr)；n＝max(Nt,Nr)；为次数为k的Laguerre多项式；如果令λ＝n/m，推导出如下归一化后的信道容量表示式；limn→∞Cm=12π∫v1v2log2(1+mξNtv)(v2v-1(1-v1v)dv;]]>其中，v2=(τ+1)2;]]>在快速瑞利衰落的情况下，令m＝n＝Nt＝Nr，则v1＝0，v2＝4；渐进信道容量为：limn→∞Cn=1π∫04log2(1+ξv)(1v-14)dv;]]>利用不等式：log2(1+x)≥log2(x)；式简化为：limn→∞Cn=1π∫04log2(ξv)(1v-14)dv≥log2(ξ)-1.]]>