[发明专利]一种基于用户词典的网络社交文本大数据处理方法及系统

摘要

本发明公开了一种基于用户词典的网络社交文本大数据处理方法及系统；对网络社交文本大数据分析价值的挖掘，以及网络社交文本大数据处理的方法与技术。采用集中式计算的方法，将半结构化数据的数据转化为结构化的数据，本发明主要是对半结构化的数据进行处理，通过对有代表性的样本微博中抽取相关的心理品质关键词，通过人工评判与问卷调查来删减词汇，构建某种心理品质的用户词典。基于模糊匹配及权重设置(程度级别词语与否定词)对微博文本消息中的关键词进行频数统计。

主权项

一种基于用户词典的网络社交文本大数据处理方法，其特征是，包括：步骤(1)：网络社交文本大数据的获取：在新浪微博开放平台上获取新浪微博用户的微博文本，由于微博文本数据存储空间大以及为了保证大数据的获取速度，从网上下载了文本压缩文件；然后对文本压缩文件解压缩处理得到包含微博数据的txt文件，对包含微博数据的txt文件进行数据信息初步的提取；步骤(2)：用户词典的构建：从微博数据中筛选符合待研究心里品质的词汇，对该词汇进行预处理，根据预处理后的词汇编制调查问卷，根据调查问卷的问卷题目筛选结果，构建用户词典；步骤(3)：微博文本消息中的关键词模糊匹配，关键词词频统计：步骤(31)：根据微博发布的时间点来划分微博片段，将用户词典中待匹配的关键词分解为单个字，步骤(32)：判断关键词当中的每一个字是否均在微博片段的文本消息中出现一次，若是，则关键词词频加一；若不是则关键词词频不变；对所有微博片段进行分析，找出用户词典中的各个关键词在每个月份的词频。