[发明专利]就业技能需求分析系统

说明书

本发明公开了一种就业技能需求分析系统，包括数据采集与存储模块、数据预处理模块、数据分析模块和数据可视化模块。所述数据可视化模块，对MySQL数据库进行可视化展示。本发明用网络爬虫、数据挖掘和数据可视化等大数据技术对招聘网站的海量招聘职位信息进行采集与分析，帮助就业者提前了解自己所学专业的岗位技能要求，对企业岗位和薪资待遇等进行评估，有针对性地学习相应的专业技能，更好地为就业做准备。

技术领域

本发明属于数据分析领域，特别是一种基于大数据技术的大学生就业技能需求分析系统。

背景技术

近年来，随着毕业生数量的逐年增多，大学生毕业生的就业形势愈发严峻，应届毕业生的就业工作，已经成为当今社会普遍关注的热点问题。同时随着互联网技术的发展，越来越多的招聘企业和求职者利用网络发布信息。网络招聘因其覆盖面广、时效性强、成本低等特点，逐渐成为大学毕业生求职的主要方式。但是如今，互联网求职信息平台泛滥，每个平台都登载着海量的招聘信息，招聘企业在招聘过程中对职位描述不清晰，缺乏对岗位职责和技能要求的重点描述，求职者难以有针对性地求职应聘。招聘平台无法根据大学生求职者自身条件做合理推荐，大学生只能犹如海底捞针般在海量信息中筛选。利用大数据技术获取招聘数据的能力显著增强，如何对海量数据进行有效分析，帮助大学生有针对性学习就业所需技能，如何应用信息技术更好地为学生就业服务，成为用人单位和高校亟待解决的问题。

发明内容

本发明提供一种就业技能需求分析系统，包括数据采集与存储模块、数据预处理模块、数据分析模块和数据可视化模块；

所述数据采集与存储模块，为获取大量具有时效性的招聘信息数据，对招聘求职网站的招聘信息进行采集，分析网页结构，编写分布式爬虫程序，将获取的职位数据，存储到Hadoop分布式存储系统中；

所述数据预处理模块，确定数据分析字段，编写数据预处理程序，将采集到的繁杂多样、不完整、重复和错误的数据进行清洗、转换，得到结构化的数据再存储到Hadoop分布式存储系统中；

所述数据分析模块，建立Hive数据仓库并装载预处理后的结构化数据，利用Hive对数据进行分析，提炼对就业求职有价值的信息，将分析结果导入到MySQL数据库；

所述数据可视化模块，对MySQL数据库进行可视化展示。

进一步的，所述数据采集与存储模块，采用Scrapy分布式爬虫框架实现招聘网站数据的爬取；具体步骤包括：

S1、确定爬取对象；

S2、分析网页结构；

S3、编写Scrapy爬虫程序。

进一步的，S1中，爬取内容主要包括招聘职位、薪资、工作经验、学历要求、公司名称、所在行业、工作职责、任职要求和工作地址，爬取的海量职位数据存储到Hadoop分布式存储系统中，以便进行数据处理和分析。

进一步的，S2中，需要对网页进行分析，并找出信息元素的相似性；使用浏览器自带的开发者工具可以非常方便的分析网页结构，查看HTML代码，对需要的网页元素进行审查，为编写爬虫程序做准备。

进一步的，S3中，爬虫的基本流程主要分为发起请求、解析内容、获取响应内容和保存数据；首先通过HTTP向目标站点发起request请求，等待服务器响应；如果服务器能正常响应，会得到一个包含所要获取页面内容的response，类型有HTML、JSON字符串、二进制数据中的一种或多种类型。

进一步的，所述数据采集与存储模块，采用Hadoop分布式存储系统，包括三个节点：一台主节点为Master，两台从节点为Slave1和Slave2；每个节点上都安装、配置JDK和Hadoop，并在主从节点之间建立SSH无密钥登录；Master节点上主要运行NameNode和DataNode进程，Slave1和Slave2节点上主要运行DataNode进程。