[发明专利]社会媒体数据处理系统及方法

说明书

技术领域

本发明具体涉及社会媒体数据处理系统及方法；属于互联网领域。

背景技术

互联网Web2.0时代的开启和社会媒体(如：微信、微博)的出现使得大量用户从被动的在网络上接收知识转变为海量网络数据的产生者。据统计，互联网上的数据每年将增长50％，每两年便将翻一番，网络大数据应运而生。日前，大数据的研究和应用价值已在很多领域初见端倪。例如：在零售业，可以在大数据中挖掘出高消费者和高影响者两类有价值客户进行产品推荐和口碑宣传，与社交网络相结合创造出新的商品营销模式。此外，社交网络中的大数据也为很多政治选举提供了新的宣传手段，最典型的如“在Facebook上开展的奥巴马的总统竞选运动”。

随着大数据理念和相关技术的不断深入，大数据应用也在慢慢向社会治理领域渗透。2015年8月31日，国务院以国发〔2015〕50号印发《促进大数据发展行动纲要》。大数据发展与“提升政府治理能力现代化”紧紧相连，成为全文亮点。大数据将如何助力政府治理，以改善百姓民生和社会服务成为大家最为关注的两大话题。众所周知，爆炸性增长的大数据蕴藏着巨大的价值，因此寻求有效的大数据处理技术、方法和手段成为基于大数据进行社会治理的最本质的需求。

在众多的大数据形式中，社会媒体数据，如微博和微信数据，是一种有效的洞察民情，观测大众行为的数据形式。例如，当某一焦点事件发生时，大量民众在微博上发表自己的观点，我们可以通过观测相关的微博大数据来统计获取民众对于该事件的情感分布趋势，继而协助相关部门进行社会治理策略的提出和实施。此外，微博大数据还可以挖掘出民众普遍关注的话题类型、暴露出民众的整体情绪趋势，供舆情部门监测。

目前国内外已经有多项借助微博或推特(Twitter)来进行浅层社会治理和分析的技术和系统。Zhao等人构建了一个MoodLens的中文微博情感分析系统，将微博的情感分为愤怒、厌恶、高兴和低落四类，进行异常或突发事件的监测(文献[1]JichangZhao,LiDong,JunjieWuandKeXu.MoodLens:AnEmoticon-BasedSentimentAnalysisSystemforChineseTweetsinWeibo.KDD2012.1528-1531)。Wang等人构建了一个实时的预测2012年美国大选结果的系统，该系统通过统计在Twitter上民众对于四位候选人的情感分布来进行结果预测([2]HaoWang,DoganCan,AbeKazemzadeh,FrancoisBarandShrikanthNarayanan.ASystemforReal-timeTwitterSentimentAnalysisof2012U.S.PresidentialElectionCycle.ACL.2012.115-120)。Ciot等人研究了Twitter上进行用户性别预测的算法([3]MorganeCiot,MorganSondereggerandDerekRuths.GenderInferenceofTwitterUsersinNon-EnglishContexts.EMNLP.2013.1136–1145.)。Diao等人研究了如何在Twitter上实时发现突发事件([4]QimingDiao,JingJiang,FeidaZhuandEe-PengLim.FindingBurstyTopicsfromMicroblogs.ACL.2012.536–544.)。Jennifer等人研究了在Twitter上某个事件的发生时间预测算法([5]JenniferWilliamsandGrahamKatz.ExtractingandmodelingdurationsforhabitsandeventsfromTwitter.ACL.2012.223–227)。其中基于机器学习(如：支持向量机)和丰富特征的方法是最经典和快速的方法[7](SaifM.Mohammad,SvetlanaKiritchenko,andXiaodanZhu(Co-firstauthors).2013.NRC-Canada:BuildingtheState-of-the-ArtinSentimentAnalysisofTweets.InProceedingsoftheInternationalWorkshoponSemanticEvaluation,Atlanta,USA.)。然而，所用到的特征语义信息不足。