[发明专利]一种社交网络数据采集与分析系统

说明书

技术领域

本发明涉及大数据处理技术领域，具体地说是一种实用性强、社交网络数据采集与分析系统。

背景技术

在移动互联网和社交网络广泛使用的背景下，企业产品交付给用户后，用户对于产品的评价往往会发布在社交网络和公众互联网上。这些评价信息借助互联网构成一种链式传播效应，影响力前所未有，并且消费者在购买之前参照互联网评价进行选择已经越来越成为一种消费习惯，所以企业必须具备及时响应社交网络和互联网上的产品评价的信息，通过及时响应，澄清用户评价，改善客户关系，从而形成口碑响应，帮助企业扩大销售，降低市场推广成本。另一方面，基于用户评价能够帮助企业改善产品设计，避免产品功能脱离用户需求，提高产品的竞争力和需求满足度。

针对上述需求背景，目前市面上的主流CRM系统和PLM系统用于解决该需求，传统企业应用软件（ERP，CRM，PLM等）在标准软件基础上通过定制实施将企业的业务流程固化在软件中，按照一定的业务规则，收集企业业务运营过程中的各种业务数据，根据一定的优化算法，优化企业的销售、采购、生产、资金、人力资源等业务经营活动帮助企业创造最大的经济效益。

但随着移动互联网的发展，企业面对的数据种类更多了，除了传统的企业业务运营外，互联网上的数据对于企业运营也具备巨大的价值。如互联网上的实时行情数据能够帮助企业更好的制定市场价格和控制采购成本；用户对于产品的评价数据能够帮助企业改善产品设计，提高用户需求满足度；社交网络数据能够帮助人才密集型企业快速定位到专业能力匹配的人才。传统的企业应用软件（如ERP，CRM，PLM）都不具备大数据分析处理能力，无法满足企业融合互联网大数据分析结果进行企业运营优化的需求；另一方面，以ERP为核心的企业应用系统已经成为企业日常运营的信息中枢，企业的业务流程执行和优化以传统的企业应用做支撑。在这个背景下 ，企业既不能抛弃传统的企业管理应用系统，又面临传统企业应用改造成本高的难题，急需通过一种有效的方法将数据分析应用和企业管理应用综合集成的方法。

目前大数据应用被广泛的应用在互联网应用或者行业专有应用上，在企业应用领域局限于个别创新性企业的零星应用，应用产品化程度不高，没有形成系统的大数据应用和传统ERP为代表的企业应用方法论和最佳实践。本发明从应用最广泛的客户服务为突破点，设计了不针对具体行业和企业的通用社交网络产品评价数据采集与分析系统，从而实现利用社交网络数据提升客户服务并改进产品设计的企业信息化系统。

发明内容

本发明的技术任务是针对以上不足之处，提供一种实用性强、社交网络数据采集与分析系统。

一种社交网络数据采集与分析系统，其具体实现过程为：

一、首先设置主题词作为社交网络数据采集的关键词，该主题词即为用户输入的产品名称；

二、数据预处理模块将用于输入的文档信息自动根据同义词分解为多个订阅请求，然后调度任务模块向数据采集模块提交采集任务，采集模块得到的文档按照有效时间进行预处理，对于超出时效的文档进行丢弃，保留下来的文档保存到数据库中进行后续的处理；

三、调度任务模块根据达到的触发条件触发语义分析模块进行文档分析任务，文档分析任务针对收集到的文档进行一般性分类，即进行文本分词，单词的语义分析，当已经抽取文本的摘要时，对摘要进行语义分析，判断出文档内容是否消极；

四、知识抽取模块从积累的文本摘要中，分解出来的主语和表语进行聚类，基于聚类的结果运用统计分析方法提取知识，并对提取的知识的有效性进行验证，基于验证的结果将知识以文本的方式进行输出。

所述步骤二中分析任务的具体分析判断过程为：首先定义了产品评价相关的形容词字典库和对形容词进行修饰的副词词典，副词的修饰作用和形容词的评价类型已知；然后在文档的产品关键词前后搜索形容词，基于形容词的词义和修饰副词的作用对于这个文档的性质进行保守的初步判断；当保守的判断认为文档的内容是消极时，触发事件，并将文档的ID以事件参数的形式传递给CRM模块；CRM模块触发服务请求，人工进一步判断，并进行相应的处理。

所述步骤三种基于摘要的语义分析进一步触发相关的业务事件让CRM模块进行相应的处理流程；文本摘要的内容被存储在数据库中作为后续知识抽取的输入。