[发明专利]一种基于互联网信息的商业信息挖掘系统

说明书

本发明一种基于互联网信息的商业信息挖掘系统，涉及信息挖掘技术领域，用本发明从互联网上通过大规模的分布式爬虫模块，采集相关的新闻论坛各种数据，将采集的网页内容通过数据预处理模块进行数据清洗和融合，在通过命名实体识别模块对信息进行分词和命名实体识别，其间通过企业画像模块针对要挖掘商业信息的客户进行企业画像，商业信息生成模块针对企业的产品、技术特点、用户群体、资金情况进行分析总结，针对网页内容进行分类和聚类，最后将每一个网页的分析结果，和企业用户画像生成的模型进行匹配，将最合适的商业信息推荐给最相关的企业，实现为企业客户提供潜在的商业信息推送。

技术领域

本发明涉及信息挖掘技术领域，更具体的是涉及基于互联网信息的商业信息挖掘系统。

背景技术

商业信息的散布往往是开启交易行为的重要因素的一，因此如何准确将商业信息传送给真正需要商业信息的消费端，或如何让消费端可快速查询并获得所需要的可利用性商业信息，将是众人潜心研究的重点。

然而，现有商业信息服务系统是使用广泛散布的方式进行，对于广大的消费端而言无可避免将接收到所有的广告信息，再从所有广告信息中筛选出几则有利用价值的商业信息，不仅其商业信息播放的精准率不高，且也将造成物质或人力的资源浪费。

发明内容

本发明的目的在于：为了上述技术问题，本发明提供一种基于互联网信息的商业信息挖掘系统。

本发明为了实现上述目的具体采用以下技术方案：

一种基于互联网信息的商业信息挖掘系统，其特征在于：包括爬虫模块、数据预处理模块、命名实体识别模块、企业画像模块、新闻挖掘模块和商业信息生成模块，从互联网上通过大规模的分布式爬虫模块，采集相关的新闻论坛各种数据，将采集的网页内容通过数据预处理模块进行数据清洗和融合，在通过命名实体识别模块对信息进行分词和命名实体识别，其间通过企业画像模块针对要挖掘商业信息的客户进行企业画像，商业信息生成模块针对企业的产品、技术特点、用户群体、资金情况进行分析总结，针对网页内容进行分类和聚类，最后将每一个网页的分析结果，和企业用户画像生成的模型进行匹配，将最合适的商业信息推荐给最相关的企业，实现为企业客户提供潜在的商业信息推送。

所述爬虫模块主要利用分布式的爬虫，爬虫分为下载模块、redis URL去重模块、内容去重模块、网页解析模块、集群调度模块、存储模块。

所述数据预处理模块主要针对网络采集的各种模块，进行文本的编码转化，统一为utf8编码，进行繁简转化，去除下载的乱码内容和部分乱码内容，部分数字和字母的格式转换。

所述命名实体识别模块分为数字名识别模块、时间名识别模块、地名识别模块、人名识别模块、组织机构名识别模块和商品名识别模块。

所述企业画像模块是根据爬虫去网络上抓取企业官网，企业搜索引擎上的相关报道，企业相关论坛上的产品和企业口碑数据等，以及一些行业排行榜上的企业相关的数据，对象进数据进行相关的处理，具体针对用户画像。

所述新闻挖掘模块主要是挖掘新闻潜在的内容，比如通过命名实体识别出单篇新闻的报道的人、地名、新闻发生地、公司名、公司产品名，然后根据分类和聚类等算法，进行新闻内容的去重，新闻的分类、聚类、公司产品业务线匹配。

所述商机挖掘匹配模块获取到的商机内容，通过前端界面传递给查询者，该条与输入的该企业相关的各种商机信息。

本发明的有益效果如下：

本发明结构简单，实现了一套基于互联网的自动化商业信息挖掘系统，企业只需要一个账户，注册系统，定制服务就可以很快获得相关的企业的各种信息和商业机会，竞品情报，市场调研等，有些的减少了人力成本和具有很好的市场推广效益。

具体实施方式