[发明专利]一种在线社交网络中热点事件数据存储管理方法及系统

摘要

本发明提供一种在线社交网络中热点事件数据存储管理方法及系统，针对在线社交网络热点事件数据所具有的数据量大、跨平台数据间存在差异性、数据类型多以及数据价值密度低的问题，分别提出了分布式文件系统存储数据策略、清洗并稀疏多平台数据策略、划分数据类别的多种存储模式策略以及多维度的数据存储模型策略。有效解决了因在线社交网络热点事件数据本身的数据特征所带来的数据存储问题，透明化了不同在线社交网络平台中的热点事件数据，为有关在线社交网络热点事件数据的相关研究提供了有效的数据支持。

主权项

1.一种在线社交网络中热点事件数据存储管理方法，其特征在于，包括：基于HDFS分布式文件系统，对在线社交网络中热点事件的原始数据进行存储；在所述HDFS分布式文件系统中，同一热点事件的全部数据存放在同一路径下，同一事件中来源于不同平台的数据分平台存放在各自对应的路径中，而同一平台中来源于不同文章的数据则分文章存放在各自对应的路径中；针对不同平台数据间存在的差异性，通过预设清洗及稀疏方式对数据进行清洗及稀疏，实现不同平台数据间的数据一致化；对于热点事件的原始数据，根据其数据结构固定程度和数据大小特征，将各数据划分为文本类数据、图片类数据以及视频类数据；并对分类后的数据，依据各数据的数据类型，分别按预设分类存储方式设计不同的存储方案；从预设维度建立数据存储模型，对所述HDFS分布式文件系统中所存储的数据进行解析，并按照所建立的数据存储模型完成数据的存储。