[发明专利]一种社交数据监控系统

说明书

技术领域

本发明涉及互联网安全领域，特别是一种社交数据监控系统。

背景技术

随着社交网络、移动互联网的大规模发展，人们能更方便的通过手机获取资讯、发表言论、沟通交流。特别是在社交网络繁荣之后，每个网民都可以创造信息，使得网络中的信息量出现爆发式的增长，数据来源也呈现出多样化的趋势，逐步分化出微博、微信、电商、论坛、问答等越来越多的来源。

社交数据越来越多，形式和平台越来越丰富，在提供数据给大量的品牌客户进行分析的同时，系统内部如何及时准确地监控这些数据，以及监控系统自身稳定成了一个关键点。

发明内容

现有技术中，系统复杂度较高，搭建和实现难度较大，偏向于瞬时的数据监控与报警。虽然有些技术涉及数据持久化和图表化展现，但并没有技术方案涉及快速分析和展现大规模的历史数据。就目前来看，现有技术不具备快速分析和快速查看历史数据的特点。

有鉴于此，发明人在为不同的数据来源搭建特有的数据获取平台的同时，搭建了社交数据监控系统，用于提高这些平台的稳定性，及早发现问题，帮助排查问题，以及验证问题解决。

根据本发明的第一方面，本发明提供了一种社交数据监控系统，其包括：

ES单元，数据存储和搜索；

收集器数据采集单元，通过API采集各个平台的数据，并将采集到的数据存储到ES单元；

SDK数据采集单元，通过SDK采集应用内部的数据，并将采集到的数据存储到ES单元；

监控单元，其调取ES单元存储的数据，通过Grafana展示单元和/或Web展示单元展示。

优选地，所述收集器数据采集单元采集的数据包括系统信息和设备信息。

所述设备信息包括但不限于：网卡信息、CPU信息、内存、硬盘等。

优选地，所述SDK数据采集单元采集的数据包括任务信息。

所述任务信息包括但不限于：监控业务的吞吐量、任务队列长度、任务延时等。

优选地，所述SDK数据采集单元包括采样模块，按照调用量采样收集数据。

优选地，所述SDK数据采集单元包括数据整理模块，保证数据格式统一。

优选地，所述SDK数据采集单元包括聚合模块，对采集到的数据进行聚合处理。

优选地，所述监控单元包括报警模块，当所监控的数据超过阈值时，启动报警。

优选地，所述报警模块包括邮件报警和/或电话报警。

优选地，所述Grafana展示单元也可包括报警模块，在报警模块中设定阈值，当数据超过阈值时，通过Grafana展示单元的UI组件渲染展示。

优选地，所述社交数据来自：微博、微信、QQ、BBS、贴吧、论坛、人人网、知乎中的一种或多种。

附图说明

通过阅读参考一下附图所作的对非限制性实施例所作的详细描述，本发明的其他特征、目的和优点将会变得更明显：

图1是根据本发明的一些实施方式的社交数据监控系统的示意图。

图2是根据本发明的另一些实施方式的社交数据监控系统的示意图。

图3为在本发明的一些具体实施例中利用Web展示单元展示监控数据的示意图。

图4a-图4c在本发明的一些具体实施例中利用Grafana展示单元展示监控数据的示意图。

具体实施方式

在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员来说显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生/混淆，对于本领域公知的一些技术特征未进行描述。

在本发明中，术语“数据获取平台”是指获取数据的平台，通过程序和接口自动浏览网页数据，整合数据并存储的装置。

本发明中所监控的数据包括但不限于分析数据、跟踪数据和全局数据。

术语“Grafana”是一个开源的可视化监控数据展现平台，具有功能齐全的度量仪表盘和图形编辑器，支持Graphite，InfluxDB、OpenTSDB和ElasticSearch，具有灵活丰富的图形化选项；可以混合多种风格；支持白天和夜间模式。

术语“API”(Application Programming Interface)，应用程序编程接口，是一些预先定义的函数，目的是提供应用程序与开发人员基于某软件或硬件得以访问一组例程的能力，而又无需访问源码，或理解内部工作机制的细节。