[发明专利]一种公司形象提升系统的数据监测分析系统

权利要求书

1.一种公司形象提升系统的数据监测分析系统，其特征在于：包括用户数据服务与融合体系模块、社交媒体传播优化模块、多源海量社交媒体数据实时采集模块、异构社交媒体关键信息提取模块与支撑海量社交媒体数据监测处理分析的流计算技术模块；

所述多源海量社交媒体数据实时采集模块包括微服务全局分布式数据协调模块、数据采集抓取服务模块、数据采集处理服务模块与数据持久化服务模块，所述微服务全局分布式数据协调模块，是指服务之间的图片共享通过FTP+Nginx静态资源的方式进行访问，文件共享通过nfs磁盘挂载的方式进行访问，通过微服务、独立化，对文件进行统一的管理和维护，进而实现对数据的协调式采集，搭建具备独立规则、携带关键数据特征的数据库，所述数据采集抓取服务模块是指对数据进行抓取、转换、加载，最终挖掘数据的潜在价值，并提供给用户解决方案或者决策参考，所述数据采集处理服务模块是指对数据进行分析和加工的技术过程，包括对各种原始数据的分析、整理、计算、编辑的加工和处理，所述数据持久化服务模块是指通过处理采集器获取的信息，清洗掉冗余数据和脏数据，统一存储格式后将数据持久化存储，其用于对采集处理完毕的数据进行分类存储，使数据持久有效，或不对数据存储内容进行任何格式处理，所有数据原封不动保存到文件中，或定义一套独立的格式规范，后续便于将数据从文件中解析；

所述异构社交媒体关键信息提取模块包括正则表达式抽取模块、自动序列标注模块、抽取模型构建模块与抽取模型部署应用模块，所述正则表达式抽取模块用于从大量的语料中匹配出少量但准确的抽取对象，并作为后续过程的导入，所述自动序列标注模块用于将采用正则表达式抽取模块获得的抽取结果，切割出一定比例，作为导入到“自动序列标注”方法的训练语料，替代“人工标注”过程，所述抽取模型构建模块，模型采用自动序列标注模块中的训练语料，结合开源的“自动序列标注”类算法，构建“抽取模型”，所述抽取模型部署应用模块采用抽取模型构建模块的结果，对自动序列标注模块切割出的、剩余的语料进行自动化抽取，并对抽取结果进行自动判断；

所述支撑海量社交媒体数据监测处理分析的流计算技术模块包括多源异构数据采集模块、分布式系统存储模块、流式大数据计算模块与交互数据分析处理模块，所述多源异构数据采集模块包括社交媒体大数据、公司内部客户服务数据及算法模型训练语料，通过互联网信息采集、数据库集成、文件系统集成、日志流数据集成及离线数据上传的方式进入系统，通过基于消息总线的全局数据调度，实现后续的存储、计算和应用，所述分布式系统存储模块用于对海量社交媒体原始数据和部分中间数据进行存储，对社交媒体的原始数据重新整理，所述流式大数据计算模块用于对海量数据的实时分析，所述交互数据分析处理模块在数据处理、分析及可视化展示层面，通过全文检索引擎、关系数据库、对象存储系统以及列族数据库，为社交媒体数据信息的全生命周期的不同类型数据提供最合适的数据结构及服务。

2.根据权利要求1所述的一种公司形象提升系统的数据监测分析系统，其特征在于：所述数据采集抓取服务模块包括系统日志采集模块、网络数据采集模块与数据库采集模块，所述系统日志采集模块用于收集日志数据提供离线和在线的实时分析使用，所述网络数据采集模块用于从网站上获取数据，将非结构化数据和半结构化数据的网页数据从网页中提取出来，并将其提取、清洗、转换成结构化的数据，然后存储为统一的本地文件数据，所述数据库采集模块用于与企业业务后台服务器结合，将企业业务后台每时每刻都在产生大量的业务记录写入到数据库中，最后由特定的处理分许系统进行系统分析。

3.根据权利要求1所述的一种公司形象提升系统的数据监测分析系统，其特征在于：所述数据采集处理服务模块包括数据清理模块、数据集成和数据转换模块与数据归约模块，所述数据清理模块用于是指发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值，所述数据集成和数据转换模块用于把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中，从而为企业提供全面的数据共享和将数据从一种表示形式变为另一种表现形式的过程，所述数据归约模块是指在保持数据原貌的前提下，最大限度地精简数据量。

4.根据权利要求3所述的一种公司形象提升系统的数据监测分析系统，其特征在于：所述数据归约有两个途径：属性选择和数据采样，分别针对原始数据集中的属性和记录。