[发明专利]一种基于多维分析的数据处理系统有效
申请号: | 202110322066.2 | 申请日: | 2021-03-25 |
公开(公告)号: | CN113111061B | 公开(公告)日: | 2022-09-13 |
发明(设计)人: | 蒋一琛;许斌;姚笑秋;王紫露;王淑蕊;勾丽;周元;刘信;赵洁;方丽;王博颖;常春梅 | 申请(专利权)人: | 浙江省科技信息研究院 |
主分类号: | G06F16/22 | 分类号: | G06F16/22;G06F16/26;G06F16/28;G06F16/23 |
代理公司: | 杭州杭诚专利事务所有限公司 33109 | 代理人: | 尉伟敏 |
地址: | 310012 浙*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 多维 分析 数据处理系统 | ||
1.一种基于多维分析的数据处理系统,其特征在于,包括:
数据采集模块,包括定期采集模块和分时处理模块,所述定期采集模块根据设置的周期T进行数据采集,所述分时处理模块在周期T内对定期采集模块采集的数据与原始数据库中的数据进行对比,剔除相同的数据后将变化的数据传递给原始数据库;
原始数据库,用于存储原始的统计数据以及数据采集模块采集的变化数据,与数据展示模块连接;
数据展示模块,提取原始数据库中的数据进行可视化界面制作并进行多维分析展示;
所述原始数据库存储原始的统计数据的方法为:将原始的统计数据进行分盘存储,具体包括以下步骤:
S11:将存储原始的统计数据的存储盘分为主盘UT和分盘Ui,i∈[1,n],n≥2;
S12:在主盘UT和分盘Ui,i∈[1,n],n≥2之间建立通信环,将原始的统计数据形成一个数据包R;
S13:将数据包R拆分成K个数据包Gj,j∈[1,k],k≤n,将数据包Gj,j∈[1,k],k≤n随机存入分盘Ui,i∈[1,n],n≥2内;
所述S13中将数据包Gj,j∈[1,k],k≤n随机存入分盘Ui,i∈[1,n],n≥2内的具体方法为:主盘UT将第一个数据包G1经通信环传递给分盘U1,若分盘U1内没有数据存储,则分盘U1以1/2的概率判断是否接收数据包G1,若分盘U1已经存储了数据或分盘U1没有接收数据包G1,则产生加密报头“0”,将加密报头“0”和数据包G1传递到分盘U2,若分盘U2没有存储数据且接收了数据包G1,则产生加密报头“1”,将分盘U1的加密报头和自身产生的加密报头传递给下个分盘,后续的分盘进行加密报头“0”的补充后传递给主盘UT,主盘UT在原本数据包G1的位置记录所有的加密报头,将数据包Gj,j∈[2,k],k≤n以数据包G1的方式存入分盘中;
所述数据展示模块包括数据预处理模块、可视化界面制作模块和查询模块,所述数据预处理模块建立基础库,所述可视化界面制作模块用于制作可视化界面,所述查询模块用于查询制作好的可视化界面,所述基础库的制作方法包括以下步骤:
S21:进入表单选取页面进行表单选取;
S22:将选取的表单与原始数据库进行数据关联;
S23:将数据关联后的表单进行存储形成基础库;
所述可视化界面制作模块包括目录设置单元、搜索单元、工具栏单元、排序单元和维度转换单元,所述目录设置单元用于在UI界面设置目录,所述搜索单元用于搜索基础库中的表单,所述工具栏单元用于制作UI界面模板,所述排序单元用于设置表单内的数据排序,所述维度转换单元用于将表单内的指标数据转换成多维度数据;
所述排序单元进行表单数据排序时包括以下步骤:
S31:获取基础库中表单内的有效字段a1和空字段a2;
S32:获取分时处理模块中变化数据的有效字段A1;
S33:根据排序规则进行表单数据排序;
所述排序规则为:其中,ω为排序有效值,σ和均为加权系数,根据排序有效值ω从大到小进行排序。
2.根据权利要求1所述的一种基于多维分析的数据处理系统,其特征在于,
所述周期T的设置方法包括以下步骤:
S1:获取数据采集的区域范围θ;
S2:获取数据采集的数据指标δ;
S3:获取数据采集的目标种类μ;
S4:根据周期进行周期T的设置。
3.根据权利要求1所述的一种基于多维分析的数据处理系统,其特征在于,
若存在数据包Gx传递到分盘Un均没有被接收,则将数据包Gx在通信环内循环传递,直到数据包Gx被分盘接收。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于浙江省科技信息研究院,未经浙江省科技信息研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110322066.2/1.html,转载请声明来源钻瓜专利网。