[发明专利]外贸集客营销系统及方法

权利要求书

1.一种外贸集客营销系统，其特征在于：包括数据挖掘系统，所述数据挖掘系统包括爬虫子系统、数据库存储中间件子系统、任务调度子系统、任务管理子系统、Mongo数据库集群、数据检索子系统；

所述爬虫子系统用于实现任务分布式调度，使用消息队列实现消息分布式存储和处理，并配合数据检索子系统实现数据高速检索；

所述数据库存储中间件子系统用于将挖掘结果转移到消息队列中，保证数据不丢失，然后由数据库存储中间件子系统中的数据库存储中间件将数据分批取出并存储到Mongo数据库集群中；

所述任务调度子系统用于远程启动爬虫子系统执行数据挖掘；

所述任务管理子系统用于对任务最终需求数据进行处理，如果已经有可以处理用户需求的爬虫，则指挥任务调度子系统直接启动挖掘任务；如果还没有相应的爬虫，则下达爬虫开发的指令，并等待爬虫开发完成后，再指挥任务调度子系统启动挖掘任务；

所述Mongo数据库集群用于数据存储；

所述数据检索子系统用于对数据进行分布式检索，并将结果输送给展示平台。

2.如权利要求1所述的外贸集客营销系统，其特征在于：所述爬虫子系统采用Scrapyd框架实现任务分布式调度。

3.如权利要求1所述的外贸集客营销系统，其特征在于：所述数据检索子系统使用ElasticSearch框架的对数据进行分布式检索。

4.如权利要求1所述的外贸集客营销系统，其特征在于：所述任务调度子系统对于企业网站的分析步骤如下：

首先加载网站首页，然后解析出页面中导航栏，然后根据导航栏中出现的链接文本分析出关键页面的链接，

再进入对应的关键页面中取出网站中的关键信息；

接着根据关键信息分析客户信息。

5.如权利要求4所述的外贸集客营销系统，其特征在于：所述关键信息至少包括企业邮箱、社交平台信息、企业域名、企业名称；所述任务调度子系统通过企业邮箱得到邮箱验证信息，通过社交平台信息得到企业的组织架构，通过企业域名分析出未出现在网站中的联系人邮箱，通过企业名称分析企业所处行、工商信息，形成对企业的一个完整的信息画像。

6.一种外贸集客营销方法，其特征在于：包括以下步骤：

步骤S1，用户创建挖掘任务并填写任务原始需求信息；

步骤S2，任务调度子系统根据任务原始需求及与客户的沟通整理出数据挖掘系统可使用的加工后的任务最终需求数据，并提交给任务管理子系统；

任务管理子系统对任务最终需求数据进行处理，如果已经有可以处理用户需求的爬虫，则任务调度子系统直接启动挖掘任务；如果还没有相应的爬虫，则下达爬虫开发的指令，并等待爬虫开发完成后，再启动挖掘任务；

步骤S3，挖掘任务启动时，任务调度子系统远程启动爬虫子系统执行数据挖掘；

爬虫子系统根据用户提供的搜索需求而形成适合引擎抓取使用的关键词列表，并在搜索主站上执行广度优先搜索，并得到符合搜索关键词的网站或商家的店铺简要描述的搜索初步结果；

在根据搜索初步结果进一步分析是否需要更深层次数据挖掘和解析，经过几轮挖掘和解析的迭代，最终将有效数据打包作为挖掘结果传回至Mongo数据库集群；

挖掘结果并非直接存储到Mongo数据库集群中结束挖掘任务，而是先由数据库存储中间件子系统将挖掘结果转移到消息队列中，保证数据不丢失，然后由数据库存储中间件子系统中的数据库存储中间件将数据分批取出并存储到Mongo数据库集群中的数据存储子系统中；

存储到MongoDB数据库中的数据为挖掘的初始数据，有大量的不符合用户要求的数据，或存在信息不完整的数据，在此需要对数据进行清洗，补全，及邮箱有效性验证，经过这些处理之后的数据才能做为挖掘任务的最终结果；

步骤S4，最后由数据检索子系统使用ElasticSearch框架的对数据进行分布式检索，并将结果输送给展示平台。

7.如权利要求6所述的外贸集客营销方法，其特征在于：在步骤S2中，所述任务调度子系统对于企业网站的分析步骤如下：

首先加载网站首页，然后解析出页面中导航栏，然后根据导航栏中出现的链接文本分析出关键页面的链接，

再进入对应的关键页面中取出网站中的关键信息；

接着根据关键信息分析客户信息。