[发明专利]自动化企业舆情监控方法、系统、存储介质及电子设备在审
申请号: | 202110050617.4 | 申请日: | 2021-01-14 |
公开(公告)号: | CN112732997A | 公开(公告)日: | 2021-04-30 |
发明(设计)人: | 乐誉隆;郭健飞;陈建荣 | 申请(专利权)人: | 上海尧信惠达信息科技有限公司 |
主分类号: | G06F16/951 | 分类号: | G06F16/951;G06F16/958;G06F16/904;G06F16/215;G06F16/27 |
代理公司: | 北京中誉威圣知识产权代理有限公司 11279 | 代理人: | 李泽中 |
地址: | 201914 上海市崇明区横*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 自动化 企业 舆情 监控 方法 系统 存储 介质 电子设备 | ||
1.一种自动化企业舆情监控方法,其特征在于,包括:
数据获取,针对目标企业于特定网站,获取其对应表层网页及深层网页相关数据;
数据清洗,对获取到的相关数据进行去除冗余操作,保留关键数据;
数据存储,将所述关键数据进行存储操作;以及
数据可视化,将存储后的所述关键数据以多个模块在可视化平台进行展示。
2.如权利要求1所述的自动化企业舆情监控方法,其特征在于,所述数据获取是基于深层网络爬虫技术实现的。
3.如权利要求1所述的自动化企业舆情监控方法,其特征在于,所述数据存储是基于分布式数据存储技术实现的。
4.如权利要求1所述的自动化企业舆情监控方法,其特征在于,所述数据清洗是通过编写Python程序实现的,且所述数据清洗包括以下步骤:
检查原表和产出表字段的匹配情况;
检查字段是否有漂移情况;
检查数据格式;以及
根据检查情况进行相应的数据处理,包括删除字段漂移的实例,删除冗余字段,并将字段数据格式转化成需要的数据格式,并提供标准化输出。
5.一种自动化企业舆情监控系统,其特征在于,包括:
数据获取组件,用以针对目标企业于特定网站,获取其对应表层网页及深层网页相关数据;
数据清洗组件,对获取到的相关数据进行去除冗余操作,保留关键数据;
数据存储组件,将所述关键数据进行存储操作;以及
数据可视化组件,将存储后的所述关键数据以多个模块在可视化平台进行展示。
6.如权利要求5所述的自动化企业舆情监控系统,其特征在于,所述数据获取组件是基于深层网络爬虫技术实现的。
7.如权利要求5所述的自动化企业舆情监控系统,其特征在于,所述数据存储组件是基于分布式数据存储技术实现的。
8.如权利要求5所述的自动化企业舆情监控方法,其特征在于,所述数据清洗组件是通过编写Python程序实现的,且所述数据清洗组件的清洗步骤包括以下步骤:
检查原表和产出表字段的匹配情况;
检查字段是否有漂移情况;
检查数据格式;以及
根据检查情况进行相应的数据处理,包括删除字段漂移的实例,删除冗余字段,并将字段数据格式转化成需要的数据格式,并提供标准化输出。
9.一种存储介质,其特征在于,所述存储介质存储有计算机可执行指令,所述计算机可执行指令用于执行权利要求1-4任意一项所述的自动化企业舆情监控方法。
10.一种电子设备,其特征在于,包括:
至少一个处理器;以及,
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-4任意一项所述的自动化企业舆情监控方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海尧信惠达信息科技有限公司,未经上海尧信惠达信息科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110050617.4/1.html,转载请声明来源钻瓜专利网。