[发明专利]基于Scrapy爬虫框架+数据可视化的第三方网课评价平台

权利要求书

1.基于Scrapy爬虫框架+数据可视化的第三方网课评价平台，其特征在于，包括数据抓取模块、规则设定模块、课程平台、智能推荐模块、课程评价模块以及用户模块；

其中，所述规则设定模块用于工作人员对用户代理、Robot协议遵守以及日志等级进行设定，同时为了后续数据存储对item.py规定相应的数据格式；

所述数据抓取模块用于通过Scrapy爬虫框架对各网站进行数据采集；

所述课程平台包括可视化单元以及存储单元；

所述可视化单元用于对数据抓取模块采集到的各组数据进行可视化展示处理；

所述存储模块用于接收数据抓取模块采集到的各组数据并对其进行信息存储；

所述用户模块用于用户进行登录注册、验证码校验、密码加密存储、用户权限管理以及用户信息存储；

所述课程评价模块用于用户在课程或平台下方发表相关评价，并对用户发表的评价进行判断展示；

所述智能推荐模块用于依据用户输入的关键词或者用户行为数据向用户进行课程推荐。

2.根据权利要求1所述的基于Scrapy爬虫框架+数据可视化的第三方网课评价平台，其特征在于，所述规定数据格式部分处理代码如下：

其中，Scrapy爬虫框架依据规定的数据格式对各网站对应课程信息进行抓取。

3.根据权利要求1所述的基于Scrapy爬虫框架+数据可视化的第三方网课评价平台，其特征在于，所述Scrapy爬虫框架数据采集具体步骤如下：

步骤一：数据抓取模块对初始网页url发起请求，同时使用lxml对请求数据进行解析；

步骤二：从初始网页数据中抽取出课程详情页url，再对详情页url发起请求并解析，然后使用xpath定位获取相关的课程基本信息；

步骤三：通过Scrapy爬虫框架来发送Ajax请求或者调用Selenium浏览器自动化以对动态加载的数据请求进行抓取；

步骤四：通过yield语句对课程详情页url发起请求，并通过callback参数为这个请求添加回调函数，在请求完成之后会将响应数据作为参数传递给回调函数；

步骤五：将抓取的数据通过yielditem语句提交给ItemPipeline以处理Spider中获取到的Item，并对其进行后期处理。

4.根据权利要求1所述的基于Scrapy爬虫框架+数据可视化的第三方网课评价平台，其特征在于，所述数据可视化展示具体步骤如下：

步骤(1)：利用词云对各网站中各个课程类型所出现的频率进行展示，同时依据各类相关课程指标对同类课程进行分析比较，并依据分析结果构建柱状图；

步骤(2)：收集各网站近一个月的访问量，并生成平台访问量饼图，并向用户推荐访问次数较前的网站；

步骤(3)：自动追踪依赖的模板表达式和计算属性，同时自行提供MVVM数据绑定和一个可组合的组件系统，并通过获取指定课程的内容，从后台的接口中获取信息，并且渲染到页面上对用户进行展示，其核心代码如下：

created:function(){

const info＝await this.$http.get(‘接口地址’)；this.list＝info.data.data；

}

上述代码主要功能用于在页面渲染前获取信息；

short

v-for＝(item,id)in list

:key＝id

:commenton＝item.comment

:time＝item.create_time

:usrfor＝item.username

:imge＝item.avatar

/short

上述代码主要功能用于进行页面的渲染。