[发明专利]一种面向社交媒体的实体集合扩展方法及系统

权利要求书

1.一种面向社交媒体的实体集合扩展的方法，所述方法包括：

在推特文本语料数据集上建立推特文本的词向量空间模型，基于该词向量空间模型得到推文中词的向量表示；

基于推文中词的向量表示，计算词之间的相似度，根据相似度为初始种子实体集合中的每个种子生成对应的扩展集合，将所有种子的扩展集合合并得到候选实体集合；

分别按照语义相似度特征值、上下文模式特征值和前缀组合特征值对候选实体集合进行排序，得到三个排序结果；

根据综合排序模型对三个排序结果进行综合排序，最终得到扩展的候选实体集合；

所述在推特文本语料数据集上建立推特文本的词向量空间模型；基于该词向量空间模型得到推文中词的向量表示；具体包括：

爬取推特文本数据，构造推特文本语料数据集；

对通过组块分析识别出的全部名词短语进行处理，将短语中多个单词之间的空格去掉，从而将多个单词的短语转化为一个整体的单词；

在经过预处理后得到的推特文本语料数据集上，采用Word2Vec文本深度表示词向量空间模型并进行训练；

所述基于推文中词的向量表示，计算词之间的相似度，根据相似度为初始种子实体集合中的每个种子生成对应的扩展集合，将所有种子的扩展集合合并得到候选实体集合；包括：基于同类实体的同现性假设，利用初始种子实体集合中的种子实体，在推特文本语料集合上识别并归纳得到连接符号集合和前缀组合集合；具体包括：

基于推特文本语料集合，建立Twitter文本中常见的连接符号集合ConSet：

ConSet＝{and、or、,、、+、-、x、X、/、*、＞、＜、|、vs、VS、.、；、//、-、\、\\、＝、＞＞和＜＜}；

对于连接符号集合ConSet中的每个连接符号c_p,从初始种子实体集合S中取实体对Pair_k＝(s_k1,s_k2)，分别构造反向对称的两个“检索模式”pattern_(k,p)1和pattern_(k,p)2：

pattern_(k,p)1＝s_k1c_ps_k2

pattern_(k,p)2＝s_k2c_ps_k1

统计pattern_(k,p)1和pattern_(k,p)2在推特文本语料数据集中出现的频数f_(k,p)1和f_(k,p)2，其总和作为此对“检索模式”中c_p对应的频数f_(k,p)；

计算每个连接符号c_p的权值Wpattern_p：

其中，1≤p≤24；

建立4种推特中“@”与“#”前缀的两两组合构成的前缀组合集合PreSet：

(@,@)：种子实体@s_i，候选单词项@item；

(@,#)：种子实体@s_i，候选单词项#item；

(#,@)：种子实体#s_i，候选单词项@item；

(#,#)：种子实体#s_i，候选单词项#item；

对于前缀组合集合PreSet中的每对前缀(pre_m1,pre_m2)，从初始种子实体集合S中取实体对Pair_k＝(s_k1,s_k2)，s_k1,s_k2∈S；分别构造得到一对“检索模式”pattern_(k,m)1和pattern_(k,m)2：

pattern_(k,m)1＝pre_m1s_k1

pattern_(k,m)2＝pre_m2s_k2

统计pattern_(k,m)1和pattern_(k,m)2在推特文本语料数据集中出现在同一条推特文本中的频数，为前缀组合(pre_m1,pre_m2)对应这一组“检索模式”的频数f_(k,m)；

计算每组前缀组合(pre_m1,pre_m2)∈PreSet的权值Wprefix_m：

其中，1≤m≤4。