[发明专利]一种基于大数据的学情分析系统

说明书

本发明公开一种基于大数据的学情分析系统，包括用户单元、数据采集单元、数据挖掘单元和数据服务单元；用户单元与所述数据采集单元、数据服务单元链接；所述数据采集单元采集数据，构建非结构化数据集；所述数据挖掘单元基于开源大数据平台Hadoop构建，实现数据存储与数据预处理，数据聚类分析和相似度推荐，数据挖掘结果数据的存储；所述数据服务单元使用数据挖掘单元开放的接口，调用数据挖掘单元中的数据库数据，为用户单元直观展示信息。本发明利用大数据和互联网技术对海量的、多维的教育数据进行收集、存储、处理和挖掘，建立一个高效的、智能化的学情分析系统，加快高校信息化建设的速度和质量。

技术领域

本发明属于数据分析技术领域，具体是涉及一种基于大数据的学情分析系统。

背景技术

学情分析是伴随现代教学设计理论产生的，现代教学设计理论认为，认真研究学生的实际需要、能力水平、认知倾向以及社会对人才的需求分析，“为学习者设计教学”，优化教学过程，可以更有效地达成教学目标，提高教学效率。

学情分析指的是学生在学习方面有何特点、学习方法怎样、习惯怎样、兴趣如何，成绩如何等。其设计理念包括教学方法、学法指导和教学设想，根据获取的数据研究者可以从高校创新创业教育改革、创新创业人才培养、基于产业发展需求的专业结构调整研究、学生学习行为分析、教师教授行为分析，以及个性化推荐等角度展开研究。

大数据作为当前互联网的潮流，大数据的5V特点：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)、Veracity(真实性)。大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。分析师团队认为，大数据(Bigdata)通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。

数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统(依靠过去的经验法则)和模式识别等诸多方法来实现上述目标。数据的类型可以是结构化的、半结构化的，甚至是异构型的。发现知识的方法可以是数学的、非数学的，也可以是归纳的。最终被发现了的知识可以用于信息管理、查询优化、决策支持及数据自身的维护等。数据挖掘的对象可以是任何类型的数据源。可以是关系数据库，此类包含结构化数据的数据源；也可以是数据仓库、文本、多媒体数据、空间数据、时序数据、Web数据，此类包含半结构化数据甚至异构性数据的数据源。发现知识的方法可以是数字的、非数字的，也可以是归纳的。最终被发现的知识可以用于信息管理、查询优化、决策支持及数据自身的维护等。对教育大数据进行分析，需要从大量数据中进行提取与挖掘，在这个过程包括数据的采集、存储、清洗、数据挖掘、数据展示等，旨在最大限度地保持与还原客观事实，提高院校管理效率和教学水平。

大数据在教育领域的应用总体上呈现出“产业应用的成熟度大于学校应用的成熟度”的态势。传统学期分析系统通过分析学生表现如出勤率、考试成绩等传统的结构化数据来帮助学生，很难处理大规模、复杂结构、多维度的教育数据。比如，单机数据库服务器面对巨大数据吞吐量会呈现查询效率低、处理速度慢的现象，关系型数据库系统无法处理文本、报表、多媒体数据等非结构化数据。高校中蕴藏着十分丰富的非结构化信息资源，这些信息资源数量巨大形式混杂，传统的学期分析系统很难找到合适的方法对海量非结构化数据进行有效管理。大数据技术的不断成熟能够满足高校对教育大数据处理的速度、维度、精细度的要求。