[发明专利]一种帕累托优化的可视化分析方法

权利要求书

1.一种帕累托优化的可视化分析方法，其特征在于，包括下述步骤：

接收用户终端发送的携带有目标网址信息的数据可视化请求；

响应所述数据可视化请求，并基于数据爬虫工具获取与所述目标网址信息相对应的初始爬取结果；

对所述初始爬取结果进行结果筛选操作，得到目标爬取结果；

下载与所述目标爬取结果相对应的初始爬取数据；

基于数据清洗方法对所述初始爬取数据进行数据清洗操作，得到目标爬取数据；

获取与所述目标爬取数据相对应的可视化结果；

基于所述可视化结果向所述用户终端输出所述目标爬取数据。

2.根据权利要求1所述的帕累托优化的可视化分析方法，其特征在于，所述数据爬虫工具包括基于scrapy框架的爬虫、基于selenium框架的爬虫以及基于伪造headers的爬虫。

3.根据权利要求1所述的帕累托优化的可视化分析方法，其特征在于，所述基于数据清洗方法对所述初始爬取数据进行数据清洗操作，得到目标爬取数据的步骤，具体包括下述步骤：

读取本地数据库，在所述本地数据库中获取配置好的数据清洗规则文件；

基于所述数据清洗规则文件生成数据清洗代码；

执行所述数据清洗代码，对所述初始爬取数据打上标签；

解析所述标签，得到干扰数据；

删除所述干扰数据，得到所述目标爬取数据。

4.根据权利要求3所述的帕累托优化的可视化分析方法，其特征在于，所述基于所述数据清洗规则文件生成数据清洗代码的步骤，具体包括下述步骤：

从所述数据清洗规则文件中获取待清洗数据表的表名对应的数据清洗规则，生成临时文件；

读取所述临时文件的第一条数据清洗规则，将该数据清洗规则中的数据清洗规则伪代码作为条件判断的条件部分，生成针对该数据清洗规则的清洗代码；

遍历所述临时文件中所有的数据清洗规则，为每一条数据清洗规则生成对应的清洗代码，组合成完整的待清洗数据表的清洗代码。

5.根据权利要求3所述的帕累托优化的可视化分析方法，其特征在于，所述执行所述数据清洗代码，对所述初始爬取数据打上标签的步骤，具体包括下述步骤：

读取待清洗数据表中的一条数据，为所述数据设置初始标签值；

所述数据每触发一条数据清洗规则，则将其标签值增加2n，其中n为该数据清洗规则的规则序号；

遍历待清洗数据表的表名对应的每一个数据清洗规则；

读取待清洗数据表中下一条数据，直至遍历待清洗数据表中的每一条数据，为每一条待清洗数据打上标签。

6.根据权利要求5所述的帕累托优化的可视化分析方法，其特征在于，在所述基于数据清洗方法对所述初始爬取数据进行数据清洗操作，得到目标爬取数据的步骤之后还包括：

将所述目标爬取数据存储至区块链中。