[发明专利]一种基于大数据的学情分析系统

权利要求书

1.一种基于大数据的学情分析系统，其特征在于，包括用户单元、数据采集单元、数据挖掘单元和数据服务单元；

所述用户单元通过通信网络与所述数据采集单元、数据服务单元链接，用户通过用户单元访问数据采集单元和数据服务单元；

所述数据采集单元通过网络爬虫和定时推送日志记录的方式采集包括特定岗位招聘信息网站和特定企业岗位需求信息，构建非结构化数据集；

所述数据挖掘单元基于开源大数据平台Hadoop构建，包括分布式非结构化数据库HBase，实现数据存储与数据预处理；实现数据聚类分析和相似度推荐；数据库MongoDB，实现数据挖掘结果数据的存储；

所述数据服务单元使用数据挖掘单元开放的接口，调用数据挖掘单元中的数据库数据，为用户单元直观展示包括特定岗位招聘信息的地理分布、特定岗位技能点权重、学生就业岗位推荐和定制化学习路线推荐的信息。

2.根据权利要求1所述的基于大数据的学情分析系统，其特征在于，所述数据挖掘单元对非结构化数据库中数据预处理过程包括对数据源进行初步整理和分析，针对岗位数据需要规范岗位名称、过滤垃圾信息、去除重复信息、对岗位描述进行分词；

数据挖掘单元结果数据包括使用聚类算法获取特定岗位在各省份分布数据、特定岗位需要的技能点的权重、特定岗位对学历和工作经验的要求等统计信息；使用向量相似度算法应用于岗位信息与学生信息，实现对学生的岗位推荐和定制化学习路线。

3.根据权利要求2所述的基于大数据的学情分析系统，其特征在于，数据挖掘单元在数据挖掘过程中：

针对学生的学习相关数据，对遗漏数据进行补全，采用默认值或者填写均值操作；

对逻辑上出现的错误数据进行聚类并人工检查使其逻辑上一致，去除可忽略的字段，去除多数据源导致的重复属性，重复字段，重复信息的问题；

纠正不一致数据，去掉数据中的空、丢失值，数据的合理与完整保证了模型结果更加精准，学校相关信息系统需要与相关职能部分沟通数据中有价值或权重较高的字段或描述，确定技术可行性和评估数据源价值。

4.根据权利要求1所述的基于大数据的学情分析系统，其特征在于，所述数据服务单元通过web技术为用户单元展示信息。

5.根据权利要求1所述的基于大数据的学情分析系统，其特征在于，用户通过用户单元，采用浏览器、移动APP、小程序和公众号的方式访问数据采集单元和数据服务单元。