[发明专利]一种基于用户词典的网络社交文本大数据处理方法及系统

说明书

技术领域

本发明涉及一种基于用户词典的网络社交文本大数据处理方法及系统。

背景技术

随着互联网技术的迅速发展，网络无时无刻地不在影响着人们的生产、生活乃至社会发展。根据IDC(网络数据中心)预测，全球数据的额总量每两年就增加一倍，估计到2020年会达到35ZB，而且绝大部分数据具有非结构或半结构化的特点，人们对大数据的关注程度也日益升高。

同时，互联网的发展也带动了以微博为主导的社交媒体的迅猛发展，不论是国外以Twitter为代表的社交媒体，还是国内以腾讯微博和新浪微博为代表社交媒体，其用户都在不断增长。如此巨大的用户基数，产生了巨大的数据，而这些数据蕴含着巨大的价值。网络社交文本大数据呈现出数量巨大、增长速度快、结构多样化等特点，传统的数据处理方式是总体中抽取样本来进行有关领域的分析，这样分析出来的结果并不是对真实数据的描述，只有采用新的数据处理方式才能获得大数据更加全面有效的信息。正如前文所述，微博文本数据也有非结构化或半结构化的特点，将其结构化处理对数据价值发掘具有重大意义。

早期对于大数据的处理由于受到计算机硬件及技术的影响发展缓慢，巨大的信息资源并没有完全被发掘出来。目前的关于大数据的研究主要集中在云计算、视觉分析、数据挖掘等方面，大数据的处理技术中的分布式计算在大型集群中的简化数据处理技术，该技术需要通过计算机相互连接组成分散系统，比较复杂，技术实现较为困难。

发明内容

本发明的目的就是为了解决上述问题，提供一种基于用户词典的网络社交文本大数据处理方法及系统，本发明技术提出相应的网络社交文本非结构或半结构化数据如何转化为结构性的数据，对网络社交文本大数据分析价值的挖掘，以及网络社交文本大数据处理的方法与技术。采用集中式计算的方法，将半结构化数据的数据转化为结构化的数据，本发明主要是对半结构化的数据进行处理，通过对有代表性的样本微博中抽取相关的心理品质关键词，通过人工评判与问卷调查来删减词汇，构建某种心理品质的用户词典。基于模糊匹配及权重设置(程度级别词语与否定词)对微博文本消息中的关键词进行频数统计。

为了实现上述目的，本发明采用如下技术方案：

一种基于用户词典的网络社交文本大数据处理方法，包括：

步骤(1)：网络社交文本大数据的获取：在新浪微博开放平台上获取新浪微博用户的微博文本，由于微博文本数据存储空间大以及为了保证大数据的获取速度，从网上下载了文本压缩文件；然后对文本压缩文件解压缩处理得到包含微博数据的txt文件，对包含微博数据的txt文件进行数据信息初步的提取；

步骤(2)：用户词典的构建：从微博数据中筛选符合待研究心里品质的词汇，对该词汇进行预处理，根据预处理后的词汇编制调查问卷，根据调查问卷的问卷题目筛选结果，构建用户词典；

步骤(3)：将微博文本消息与用户词典中的关键词进行模糊匹配，对关键词词频进行统计：

步骤(31)：根据微博发布的时间点来划分微博片段，同时将用户词典中待匹配的关键词分解为单个字；

步骤(32)：判断关键词当中的每一个字是否均在微博片段的文本消息中出现一次，若是，则关键词词频加一；若不是则关键词词频不变；对所有微博片段进行分析，找出用户词典中的各个关键词在每个月份的词频。

统计每个月份含有各个关键词的频数，以csv文件格式进行保存；词频统计csv文件的第一列是关键词，第一行是含有该关键词的月份。

根据各个关键词在每个月份的词频，判断被研究人员的待研究心理品质。

若某个微博片段中含有多个关键词，则该微博片段的内容会同时与不同关键词进行模糊匹配。

由于微博文本中的程度级别词语和否定词会影响到关键词的模糊匹配，将程度级别词语设置不同的权重；没有出现程度级别词语的权值记为1；否定词权重奇数次出现记为-1，偶数次出现记为1；每个关键词的词频＝程度级别词语权值*否定词权重+名词词频。

所述步骤(1)中进行数据信息初步的提取是指采用文本遍历和文本过滤的方法过滤掉无用的信息，保留有用的信息，将有用的信息另存为txt文件。

所述无用的信息包括：网络连接或表情符号；

所述有用的信息包括：用户创建微博的时间、省份、微博内容以及用户性别。

将程度词分为四个等级并赋予相应权重(2，1.75，1.5，0.5)。

所述步骤(2)的步骤为：