[发明专利]网络社交媒体数据管理方法及装置

说明书

本发明实施例公开了一种网络社交媒体数据管理方法及装置，方法包括：创建数据仓库，并提取不同数据源的数据，将所述数据进行处理形成标准数据并存储在所述数据仓库；创建数据任务，将若干个所述数据任务依据预设规则进行排队生成消息队列；根据消息队列的排队顺序调度对应的数据任务采集相应的数据。实施例充分考虑设计网络数据杂乱、数据量大、格式混乱的问题，提供数据治理统一设计的管理方式，创建数据仓库对不同渠道来源的数据进行管理和存储，创建数据任务，以及配置任务进行数据采集，最终实现整体的数据高效有序管理。

技术领域

本发明涉及数据治理技术领域，具体涉及一种网络社交媒体数据管理方法及装置。

背景技术

目前，随着信息技术特别是网络技术的不断发展，全球数据正在以惊人的速度增长，专家预测，到2020年全球数据总量将增长4000％。在这些数据中70％的数据都是有个人产生的，并且80％的数据都是由企业所存储，管理及安全保护。每秒钟，人们发送290封电子邮件；每分钟人们在youtube上传20小时的视频； 人们每月在总共在facebook上浏览7000亿分钟；移动互联网网用户发送和上传的数据量达到1.3eb，相当于10的18次方；每秒钟亚马逊处理729笔订单。所有人都生活在数据之中，数据将成为未来的信息货币。

另外，社会化的网络为大数据提供了额外的价值维度，关系本身就是价值。社会化关系之于数据的价值，是乘数的关系，数据价值X社会化关系=影响力。借助微博的关系属性，流言更是飞速传播，真相也会加速浮出水面。微博颠覆了传统的信息传播路径，使几千年来，单中心、单向的传播方式，向多中心、网状裂变传播方式转变。对企业而言，不管是主动拥抱这个变化，还是被动接受，都宣告了一个时代的大幕真正开启，消费者站上了舞台中央。但此消费者是数字化的，他生活在网络中，他并不会直接告诉你他的需求，需要企业去收集、分析、跟踪、对比他在互联网上留下的各种“足迹”、评论、图片、视频等。

发明内容

针对所述缺陷，本发明实施例公开了一种网络社交媒体数据管理方法及装置，其可以在数据量庞大的情况下对数据进行高效管理。

本发明实施例第一方面公开了网络社交媒体数据管理方法，包括：

创建数据仓库，并提取不同数据源的数据，将所述数据进行处理形成标准数据并存储在所述数据仓库；

创建数据任务，将若干个所述数据任务依据预设规则进行排队生成消息队列；

根据消息队列的排队顺序调度对应的数据任务采集相应的数据。

作为一种可选的实施方式，在本发明实施例第一方面中，所述提取不同数据源的数据中，保留不同数据源的数据的数据格式。

作为一种可选的实施方式，在本发明实施例第一方面中，所述将所述数据进行处理形成标准数据，包括：

对不同数据源的数据进行数据格式的筛选，判断数据的数据格式是否为标准格式；

对非标准格式的数据进行加工与整合，使得所述数据形成为标准数据。

作为一种可选的实施方式，在本发明实施例第一方面中，所述存储在所述数据仓库之前，还包括：

提取所述标准数据的数据主题；

依据所述数据主题对所述标准数据进行分类；

所述存储在所述数据仓库，包括：

将数据仓库划分成多个不同主题的主题库，将分类后不同类别的数据分别存储至对应的主题库。

作为一种可选的实施方式，在本发明实施例第一方面中，所述根据消息队列的排队顺序调度对应的数据任务采集相应的数据，包括：

根据消息队列的排队顺序获取当前排在最前的数据任务；

执行所述数据任务，通过请求入口发送数据请求指令；

当请求质量通过后采集与所述数据任务相应的数据。