[发明专利]基于Scrapy爬虫框架+数据可视化的第三方网课评价平台

说明书

本发明公开了基于Scrapy爬虫框架+数据可视化的第三方网课评价平台，属于数字评价领域，包括数据抓取模块、规则设定模块、课程平台、智能推荐模块、课程评价模块以及用户模块，其中，所述规则设定模块用于工作人员对用户代理、Robot协议遵守以及日志等级进行设定，同时为了后续数据存储对item.py规定相应的数据格式；本发明能够便于用户快速获取感兴趣的课程以及真实的学习体验与评价信息，提示用户使用体验，能够让消费者在知识付费前通过该渠道了解到真实的网课信息，从而做出性价比更高的选择。

技术领域

本发明涉及数字评价领域，尤其涉及基于Scrapy爬虫框架+数据可视化的第三方网课评价平台。

背景技术

在当下的在线教育平台模式下用户难以在众多平台中的同类课程中做出选择，部分平台的课程信息对用户的透明度较低，使得用户不能够直观的了解课程质量，如何在快速发展在线教育的同时对在线教育平台和网络课程进行监管，是维护在线教育环境不可忽视的问题，随着大数据技术的发展，使得收集并应用零散的互联网在线课程信息变成了可能，使用大数据技术对互联网上分散在各个在线教育平台的课程基本信息进行数据采集，对采集结果进行数据分析与可视化，并以此为基础构建一个第三方评价平台；

现有的基于Scrapy爬虫框架+数据可视化的第三方网课评价平台不方便用户快速获取感兴趣的课程以及真实的学习体验与评价信息，用户使用体验差，为此，我们提出基于Scrapy爬虫框架+数据可视化的第三方网课评价平台。

发明内容

本发明的目的是为了解决现有技术中存在的缺陷，而提出的基于Scrapy爬虫框架+数据可视化的第三方网课评价平台。

为了实现上述目的，本发明采用了如下技术方案：

基于Scrapy爬虫框架+数据可视化的第三方网课评价平台，包括数据抓取模块、规则设定模块、课程平台、智能推荐模块、课程评价模块以及用户模块；

其中，所述规则设定模块用于工作人员对用户代理、Robot协议遵守以及日志等级进行设定，同时为了后续数据存储对item.py规定相应的数据格式；

所述数据抓取模块用于通过Scrapy爬虫框架对各网站进行数据采集；

所述课程平台包括可视化单元以及存储单元；

所述可视化单元用于对数据抓取模块采集到的各组数据进行可视化展示处理；

所述存储模块用于接收数据抓取模块采集到的各组数据并对其进行信息存储；

所述用户模块用于用户进行登录注册、验证码校验、密码加密存储、用户权限管理以及用户信息存储；

所述课程评价模块用于用户在课程或平台下方发表相关评价，并对用户发表的评价进行判断展示；

所述智能推荐模块用于依据用户输入的关键词或者用户行为数据向用户进行课程推荐。

作为本发明的进一步方案，所述规定数据格式部分处理代码如下：

courseName＝scrapy.Field() #课程名称

categoryName＝scrapy.Field() #课程分类

platformName＝scrapy.Field() #平台名称

tag＝scrapy.Field() #课程标签

mainGraph＝scrapy.Field() #课程宣传图