[发明专利]一种公司形象提升系统的数据监测分析系统

说明书

本发明公开了一种公司形象提升系统的数据监测分析系统，包括用户数据服务与融合体系模块、社交媒体传播优化模块、多源海量社交媒体数据实时采集模块、异构社交媒体关键信息提取模块与支撑海量社交媒体数据监测处理分析的流计算技术模块，所述多源海量社交媒体数据实时采集模块包括微服务全局分布式数据协调模块、数据采集抓取服务模块、数据采集处理服务模块与数据持久化服务模块，所述微服务全局分布式数据协调模块。该公司形象提升系统的数据监测分析系统，能够融合公司客户服务数据和复杂社交网络数据，构建数据融合体系架构，具有数据分析处理更加高效可靠、应用领域广泛、实用价值较强、专家成本降低的优点。

技术领域

本发明涉及监测分析系统领域，具体为一种公司形象提升系统的数据监测分析系统。

背景技术

现存社交媒体大数据由多源、信息密度低的异构网页文本为主体，在开展试点验证过程中，既有实时计算处理需求，也有离线大规模分析需求；既有半结构化的网页，也有非结构化的文档，对于客户潜在需求分析、情绪识别、社交媒体传播监测分析等不同数据处理、分析任务对数据的更新周期、访问时延、调用频次等也存在很大的差异，传统的规则抽取技术的召回率较低、健壮性不足，难以覆盖全面的结构化字段和关键指标。

传统的规则抽取技术的召回率较低、健壮性不足，难以覆盖全面的结构化字段和关键指标，第一、社交媒体内容以网页形式存在，包含大量需要进行分析、挖掘、计算的关键字段信息，例如微博的转发数、评论和帐号信息，微信公众号文章的阅读数等。第二、不同社交媒体的网页结构不同，指标也不尽相同，且经常处于变化中，仅仅利用规则抽取技术无法满足社交媒体的更新和变化。第三、无论是自然语言处理，还是包装器技术，往往针对一个特定的信息源、一个特定主题或者领域，每出现一个新的信息源就需要重新构造一套抽取程序，造成系统的可扩展性差。同时，目前各类规则抽取基于结构方式过于依赖网页结构，基于内容方式需要复杂的语言知识和自然语言处理技术。

但是现有的数据监测分析系统在使用时存在一定的弊端，其难以融合公司客户服务数据和复杂社交网络数据，构建数据融合体系架构，其数据分析处理效率较低、实用价值不够强、专家成本较高。

为此，提出一种公司形象提升系统的数据监测分析系统。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了一种公司形象提升系统的数据监测分析系统，能够融合公司客户服务数据和复杂社交网络数据，构建数据融合体系架构，具有数据分析处理更加高效可靠、应用领域广泛、实用价值较强、专家成本降低的优点。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：一种公司形象提升系统的数据监测分析系统，包括用户数据服务与融合体系模块、社交媒体传播优化模块、多源海量社交媒体数据实时采集模块、异构社交媒体关键信息提取模块与支撑海量社交媒体数据监测处理分析的流计算技术模块；

所述多源海量社交媒体数据实时采集模块包括微服务全局分布式数据协调模块、数据采集抓取服务模块、数据采集处理服务模块与数据持久化服务模块，所述微服务全局分布式数据协调模块，是指服务之间的图片共享通过FTP+Nginx静态资源的方式进行访问，文件共享通过nfs磁盘挂载的方式进行访问，通过微服务、独立化，对文件进行统一的管理和维护，进而实现对数据的协调式采集，搭建具备独立规则、携带关键数据特征的数据库，所述数据采集抓取服务模块是指对数据进行抓取、转换、加载，最终挖掘数据的潜在价值，并提供给用户解决方案或者决策参考，所述数据采集处理服务模块是指对数据进行分析和加工的技术过程，包括对各种原始数据的分析、整理、计算、编辑的加工和处理，所述数据持久化服务模块是指通过处理采集器获取的信息，清洗掉冗余数据和脏数据，统一存储格式后将数据持久化存储，其用于对采集处理完毕的数据进行分类存储，使数据持久有效，或不对数据存储内容进行任何格式处理，所有数据原封不动保存到文件中，或定义一套独立的格式规范，后续便于将数据从文件中解析；