[发明专利]一种基于Apriori算法的视频字幕网络用语词典构建方法和装置

权利要求书

1.一种基于Apriori算法的视频字幕网络用语词典构建方法，包括：

从在线视频网站上爬取若干条字幕信息作为视频字幕数据，组成抽取网络用语用的语料集；

采用jieba分词对视频字幕数据进行分词；

对分词后的语料集进行数据清洗，删除已知的基础词汇，构成由非基础词汇所构成的视频字幕文本，再对所述视频字幕文本的各个词汇项集进行计算统计，统计出的出现次数高于设定的阈值时则将对应的词汇项集归入到频繁项集中；

对所得到的频繁项集采用互信息方式进行语义含义的标注，并在互信息的基础上加入情感强度值并根据不同类别分别计算情感倾向，以情感倾向的类别来判定对应词汇的语义含义；

集合所有网络用语构成基于视频字幕的网络用语词典，其中，包含了网络用语词汇及其对应的含义。

2.根据权利要求1所述的方法，其特征在于，采用jieba分词对视频字幕数据进行分词，包括：

将所爬取到的字幕信息去除停用词、去除标点符号、特殊字符这几类干扰信息。

3.根据权利要求1所述的方法，其特征在于，将分词后的语料集定义为S_i＝{w₁,w₂,w₃,...,w_j}，其中i代表语料集中视频字幕数据的条数，j代表每条视频字幕数据中所包含的词汇数目；

对S_i＝{w₁,w₂,w₃,...,w_j}进行数据清洗，删除已知的基础词汇，删除后的视频字幕文本为S_i＝{w₁,w₂,w₃,...,w_j′}；

语料集的数据全集为D＝{S₁，S₂，S₃，......，S_i}，

对所述视频字幕文本的各个词汇项集进行计算统计，统计出的出现次数高于设定的阈值时则将对应的词汇项集归入到频繁项集中，包括：

设定支持度阈值K，计算数据全集中各个词汇项集的支持度，支持度的计算公式为其中(X,Y)代表视频字幕文本中的两个词汇，支持度的计算公式即为某几项项集共同出现的次数与全部样本之比；

扫描数据全集，找到支持度高于支持度阈值K的词汇项集并归入到频繁项集中。

4.根据权利要求3所述的方法，其特征在于，对所述视频字幕文本的各个词汇项集进行计算统计，统计出的出现次数高于设定的阈值时则将对应的词汇项集归入到频繁项集中，对所找到的频繁项集进行顺序的结果扫描，即：

扫描数据全集，找到支持度高于阈值K的频繁2项集Fre_item₂；

扫描频繁2项集Fre_item₂，在其中找到支持度高于阈值的频繁3项集Fre_item₃；

扫描频繁3项集Fre_item₃，在其中找到支持度高于阈值的频繁4项集Fre_item₄；

如此周期往复进行扫描，经至少三次的扫描生成多个频繁项集，所述多个频繁项集中包含的词汇项集即为常用的网络用语。

5.根据权利要求1所述的方法，其特征在于，对所得到的频繁项集采用互信息方式进行语义含义的标注，并在互信息的基础上加入情感强度值并根据不同类别分别计算情感倾向，以情感倾向的类别来判定对应词汇的语义含义，包括：

互信息可以通过词语间的共现来判断词语间的相似性，同时通过互信息判断网络用语的情感类别作为其语义含义，情感类别包括喜、怒、哀、惧、恶、惊，每一类别的情感包括多个不同情感强度，对每个网络用语与每一情感类别下的基础词典中的词汇进行互信息计算，最终进行情感倾向的判断。