[发明专利]基于拓展三维直方图的调研大数据可视化建模方法及系统

说明书

本发明公开了一种基于拓展三维直方图的调研大数据可视化建模方法及系统，方法包括：进行三维可视化模型初始化；对调研数据按照具体的数据类型进行分类别预处理；读取原始的调研数据，并依据三维可视化模型的要求和分类别预处理的结果，进行拓展三维直方图数据提取和规格化，生成符合三维可视化模型标准格式的拓展三维直方图数据；将生成的拓展三维直方图数据按照图形学的方法进行可视化显示。本发明基于拓展三维直方图，能形成统一的整体可视化分析结果，适用性更广；通过拓展三维直方图这一可视化图表与原调研数据相联系，保真度高；能根据不同的数据类型采取相应有效的数据预处理方法，更加有效。本发明可广泛应用于大数据处理领域。

技术领域

本发明涉及大数据处理领域，尤其是一种基于拓展三维直方图的调研大数据可视化建模方法及系统。

背景技术

教育设备是教育现代化的必备条件，教育决策部门需要对信息技术应用水平的调研数据进行采集和统计，以掌握教育信息化进程基础设施的配备情况、明确软硬件设施的应用情况，同时还需要基于调研数据综合描述教育信息化的进行情况，生成相应的应用分析报告、问题诊断、规划咨询和发展决策等各种报告，从而利用丰富的调研数据进行各级教育信息化实施现状、应用效果和发展水平的评估、咨询及规划。

近年来随着教育信息化的巨额投入以及教育信息化的应用与之前预期效果的巨大落差，使得人们不得不关注教育信息化的战略决策和投资收益等深层问题。越来越多的人开始关注教育信息化的绩效，将教育信息化的工作重心从投资、提供信息化方案、平台和系统转向教育信息化整合、教育信息化价值评估和教育信息化可持续发展。教育信息化评价也逐步由以“投入为主”确定教育信息化水平的方式转变为以“绩效为主”确定教育信息化水平的方式，以通过对教育信息化绩效评价来促进教育信息化的应用发展。然而，在教育信息化绩效评价这方面，无论国外还是国内都处于尝试探索阶段。教育信息化绩效评价是一项比较困难的事情：一方面，教育信息化不仅是个动态的发展过程，而且属于多投入多产出的问题，它的产出不易用量化指标来衡量；另一方面，在这一领域至今尚未有成熟的理论指导和合适的测量办法和测量工具，再加上教育信息化评价本身就是一项十分困难的工作，因为教育信息化的效益具有多样性，不仅要看其经济效益更主要看社会效益，不仅要看当前效益更多地表现为长远效益不，仅要看固有效益更多地表现为派生效益。所以教育信息化绩效评价己成为大家关注的十分重要且相当紧迫的话题。

教育信息化调研数据的数据类型比较复杂，并且属于会因势而变的动态化数据，而对省市大规模的调研所产生的巨大数据量亟需能够进行自动化处理和可视化分析的手段。常规的可视化手段主要对数值类的简化类型进行对照统计与可视化，在数据量及类型急骤增加的情况下已经不适应调研分析的需要，这时通常会通过聚类进行分析处理。

传统的聚类分析计算方法主要有如下几种：

1、划分方法(partitioning methods)

给定一个有N个元组或者纪录的数据集，划分方法将构造K个分组，每一个分组就代表一个聚类，K＜N，且这K个分组满足下列条件：（1）每一个分组至少包含一个数据纪录；（2）每一个数据纪录属于且仅属于一个分组（这个要求在某些模糊聚类算法中可以适当放宽）。对于给定的K，该算法首先给出一个初始的分组方法，然后通过反复迭代的方法改变分组，使得每一次改进之后的分组方案都较前一次好。好的衡量标准为：同一分组中的记录越近越好，而不同分组中的纪录越远越好。使用划分方法这个基本思想的算法有：K-MEANS算法、K-MEDOIDS算法和CLARANS算法。