[发明专利]一种基于用户词典的网络社交文本大数据处理方法及系统

权利要求书

1.一种基于用户词典的网络社交文本大数据处理方法，其特征是，包括：

步骤(1)：网络社交文本大数据的获取：在新浪微博开放平台上获取新浪微博用户的微博文本，由于微博文本数据存储空间大以及为了保证大数据的获取速度，从网上下载了文本压缩文件；然后对文本压缩文件解压缩处理得到包含微博数据的txt文件，对包含微博数据的txt文件进行数据信息初步的提取；

步骤(2)：用户词典的构建：从微博数据中筛选符合待研究心里品质的词汇，对该词汇进行预处理，根据预处理后的词汇编制调查问卷，根据调查问卷的问卷题目筛选结果，构建用户词典；

步骤(3)：微博文本消息中的关键词模糊匹配，关键词词频统计：

步骤(31)：根据微博发布的时间点来划分微博片段，将用户词典中待匹配的关键词分解为单个字，

步骤(32)：判断关键词当中的每一个字是否均在微博片段的文本消息中出现一次，若是，则关键词词频加一；若不是则关键词词频不变；对所有微博片段进行分析，找出用户词典中的各个关键词在每个月份的词频。

2.如权利要求1所述的一种基于用户词典的网络社交文本大数据处理方法，其特征是，统计每个月份含有各个关键词的频数，以csv文件格式进行保存；词频统计csv文件的第一列是关键词，第一行是含有该关键词的月份。

3.如权利要求1所述的一种基于用户词典的网络社交文本大数据处理方法，其特征是，根据各个关键词在每个月份的词频，判断被研究人员的待研究心理品质。

4.如权利要求1所述的一种基于用户词典的网络社交文本大数据处理方法，其特征是，若某个微博片段中含有多个关键词，则该微博片段的内容会同时与不同关键词进行模糊匹配。

5.如权利要求1所述的一种基于用户词典的网络社交文本大数据处理方法，其特征是，由于微博文本中的程度级别词语和否定词会影响到关键词的模糊匹配，将程度级别词语设置不同的权重；没有出现程度级别词语的权值记为1；否定词权重奇数次出现记为-1，偶数次出现记为1；每个关键词的词频＝程度级别词语权值*否定词权重+名词词频。

6.如权利要求1所述的一种基于用户词典的网络社交文本大数据处理方法，其特征是，所述步骤(1)中进行数据信息初步的提取是指采用文本遍历和文本过滤的方法过滤掉无用的信息，保留有用的信息，将有用的信息另存为txt文件。

7.如权利要求6所述的一种基于用户词典的网络社交文本大数据处理方法，其特征是，所述无用的信息包括：网络连接或表情符号；所述有用的信息包括：用户创建微博的时间、省份、微博内容以及用户性别。

8.如权利要求5所述的一种基于用户词典的网络社交文本大数据处理方法，其特征是，将程度词分为四个等级并赋予相应权重(2，1.75，1.5，0.5)。