[发明专利]企业舆情库构建方法、装置、计算机设备及存储介质有效
申请号: | 201910370888.0 | 申请日: | 2019-05-06 |
公开(公告)号: | CN110263233B | 公开(公告)日: | 2023-04-07 |
发明(设计)人: | 吴壮伟 | 申请(专利权)人: | 平安科技(深圳)有限公司 |
主分类号: | G06F16/906 | 分类号: | G06F16/906;G06F16/951 |
代理公司: | 深圳市精英专利事务所 44242 | 代理人: | 林燕云 |
地址: | 518000 广东省深圳市福田区福*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 企业 舆情 构建 方法 装置 计算机 设备 存储 介质 | ||
1.一种企业舆情库构建方法,其特征在于,包括:
通过爬虫工具定向爬取预设的第一网址列表中各子网页列表对应网站的网页内容;其中,每一子网页列表对应一个行业领域;其中,根据第一网址列表中各子网页列表创建临时存储区域;
获取所述网页内容中包括预设的第一关键词列表中任意一个关键词的网页信息,并存储至与各行业领域对应的存储区域;其中,所述存储区域由所述临时存储区域映射创建;
通过爬虫工具并行获取预设的第二网址列表中各网站在预设的时间段的源数据集,对所述源数据集中每一源数据进行预处理,得到与每一源数据对应的处理后数据;
通过预先训练的行业分类模型,对与每一源数据对应的处理后数据进行行业分类,得到与每一处理后数据的行业分类结果,将每一处理后数据根据行业分类结果存储至对应的存储区域;以及
按预设的时间周期在每一行业领域对应的存储区域中获取与预设的第二关键词列表中每一关键词一一对应的变化指数,以第二关键词列表中每一关键词一一对应的变化指数为待训练多层LSTM模型的输入,将与变化指数对应的行业指数作为待训练多层LSTM模型的输出,对待训练多层LSTM模型进行训练,得到用于预测行业指数的多层LSTM模型;其中,所述变化指数包括与企业营业收入对应的第一变化指数、与利润对应的第二变化指数、及与行业领域的总热度值对应的第三变化指数;
其中,获取所述网页内容中包括预设的第一关键词列表中任意一个关键词的网页信息,并存储至与各行业领域对应的存储区域,包括:
判断各所述临时存储区域中每一所述网页内容中是否包括所述第一关键词列表中任意一个关键词的所述网页信息;
若所述网页内容中包括所述第一关键词列表中任意一个关键词的所述网页信息,则将所述网页内容对应提取的所述网页信息通过数据插入的方式由所述临时存储区域写入至对应的所述存储区域。
2.根据权利要求1所述的企业舆情库构建方法,其特征在于,所述对所述源数据集中每一源数据进行预处理,得到与每一源数据对应的处理后数据,包括:
将所述源数据集所包括的多篇文本数据中各文本数据的标题和正文分别通过词频-逆文本频率指数模型进行关键词信息抽取,得到与各文本数据对应的标题关键词列表和正文关键词列表;
将所述源数据集中每一文本数据对应的标题关键词列表和正文关键词列表进行封装组合,得到与每一文本数据对应的行业消息列表,以得到与每一源数据对应的处理后数据。
3.根据权利要求1所述的企业舆情库构建方法,其特征在于,所述按预设的时间周期在每一行业领域对应的存储区域中获取与预设的第二关键词列表中每一关键词一一对应的变化指数,包括:
按年为周期获取每一行业领域对应的存储区域中位于预设的排名阈值之前的企业营业收入对应的第一变化指数;
按年为周期获取每一行业领域对应的存储区域中利润对应的第二变化指数;
按年为周期获取每一行业领域对应的存储区域相应的总热度值对应的第三变化指数。
4.根据权利要求3所述的企业舆情库构建方法,其特征在于,所述按年为周期获取每一行业领域对应的存储区域相应的总热度值对应的第三变化指数之前,还包括:
根据每一存储区域中对应存储的处理后数据,及预设的舆情热度模型,获取与各存储区域的处理后数据一一对应的文本热度值,按所述时间周期获取每一存储区域中对应存储的处理后数据对应的总热度值。
5.根据权利要求4所述的企业舆情库构建方法,其特征在于,所述根据每一存储区域中对应存储的处理后数据,及预设的舆情热度模型,获取与各存储区域的处理后数据一一对应的文本热度值,包括:
获取每一处理后数据的点赞数、评论数和转发数之和以得到每一处理后数据对应源数据的热度值;
获取每一处理后数据的发表时间与当前系统时间之差并乘以预设调节参数以作为自然指数e的指数,计算得到每一处理后数据的时间衰退因子;
将各处理后数据的热度值乘以对应的时间衰退因子以得到与每一源数据一一对应的文本热度值。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于平安科技(深圳)有限公司,未经平安科技(深圳)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910370888.0/1.html,转载请声明来源钻瓜专利网。