[发明专利]一种社交网络数据采集与分析系统

摘要

本发明公开了一种社交网络数据采集与分析系统，其具体实现过程为数据分析模块对用户设定的帖子内容进行分词、语义分析，并触发CRM系统进行自动或者人工响应，然后以形容词为基准位置，在形容词的前后识别子的主题，这条数据的提取的结果每一个子主题一条记录存储到数据库中。当数据库子主题的数目累计到一定程度，启动文本分类模块和聚类，剔除同义词，推送给产品设计部门进行产品改进。最终完成社交网络数据采集、分析、处理与触发ERP等企业应用系统的业务处理。该一种社交网络数据采集与分析系统与现有技术相比，保证系统数据分析的准确性和有效性，实现了互联网数据分析系统能够被复用，降低了企业进行大数据分析的成本，实用性强。

主权项

一种社交网络数据采集与分析系统，其特征在于，其具体实现步骤为：一、首先设置主题词作为社交网络数据采集的关键词，该主题词即为用户输入的产品名称；二、数据预处理模块将用于输入的文档信息自动根据同义词分解为多个订阅请求，然后调度任务模块向数据采集模块提交采集任务，采集模块得到的文档按照有效时间进行预处理，对于超出时效的文档进行丢弃，保留下来的文档保存到数据库中进行后续的处理；三、调度任务模块根据达到的触发条件触发语义分析模块进行文档分析任务，文档分析任务针对收集到的文档进行一般性分类，即进行文本分词，单词的语义分析，当已经抽取文本的摘要时，对摘要进行语义分析，判断出文档内容是否消极；四、知识抽取模块从积累的文本摘要中，分解出来的主语和表语进行聚类，基于聚类的结果运用统计分析方法提取知识，并对提取的知识的有效性进行验证，基于验证的结果将知识以文本的方式进行输出；所述步骤二中分析任务的具体分析判断过程为：首先定义了产品评价相关的形容词字典库和对形容词进行修饰的副词词典，副词的修饰作用和形容词的评价类型已知；然后在文档的产品关键词前后搜索形容词，基于形容词的词义和修饰副词的作用对于这个文档的性质进行保守的初步判断；当保守的判断认为文档的内容是消极时，触发事件，并将文档的ID以事件参数的形式传递给CRM模块；CRM模块触发服务请求，人工进一步判断，并进行相应的处理；所述步骤三种基于摘要的语义分析进一步触发相关的业务事件让CRM模块进行相应的处理流程；文本摘要的内容被存储在数据库中作为后续知识抽取的输入；所述步骤四中提取出来的知识为产品的某个特性的改进或者是产品本身设计的缺陷，对应到PLM产品中的产品缺陷和产品需求；输出的知识以产品缺陷或者产品需求的方式存储到PLM产品中，并触发产品设计部门的新版本设计的参考，产品设计部门基于抽取的知识设计产品的最新版本，经过研发后转换为产品的生产BOM；所述社交网络数据采集与分析系统通过松耦合的方式集成连接企业管理应用系统；当社交网络数据采集与分析系统基于文档的分类或者文档语义分析的结果，触发CRM模块的服务请求，服务请求被分配给企业管理应用系统的服务人员时，该文档内容或者摘要的内容以及用户的相关信息显示给服务人员，服务人员根据这些信息判断是否需要跟进与客户进行交互：如果需要，则触发客户交流的过程，期间会与客户管理模块进行交互；如果需要进行进一步的处理，则创建服务订单触发售后维修或者换货的流程；当客户评价积累到一定的数目，则从客户评价中识别产品设计缺陷或者不满足消费者需求的功能，进而触发产品设计部门的新版本设计的参考；社交网络数据采集与分析系统基于提取的文本摘要，经过知识抽取的处理步骤以后，转换为描述产品需求或者缺陷的知识文本，通过调用PLM系统API的方式输出给PLM系统以产品缺陷或者产品特性需求的数据存储,此后PLM系统的产品设计流程依据这些数据对产品进行改进形成产品生产BOM。