[发明专利]一种基于词向量和Bert的群体内隐立场分析方法

权利要求书

1.一种基于词向量和Bert的群体内隐立场分析方法，其特征在于，通过文本语料库训练Bert模型，结合句向量进行群体内隐立场分析；包括数据解析模块、模型训练模块以及内隐立场分析模块；

数据解析模块用于解析提取社会群体中用户发表的言论数据，根据内隐联想测试中提到的目标词和属性词对用户的言论分类；对其中抽取的正文文本进行分句得到言论集合A，再提取到既包含目标词又包含属性词的句子集合B，和不包含目标词和属性词的集合C；

模型训练模块用于构建学习社会群体语言大数据文本偏见的模型；基于数据解析模块根据目标词和属性词获得的集合，获取得到每个句子的嵌入向量；

内隐立场分析模块根据句子的嵌入向量之间的距离远近来测量对应目标词和属性词之间的关系大小，从而量化社会群体用户的内隐立场态度；

模型训练模块采取的是多层双向的Transformer编码器Bert模型，将L表示为层数，将H表示为隐藏层数目，将A表示为self-attention头的数目；在所有情况下，设置前馈全连接层的输出数目为4H，当H＝768时，前馈数目为3072，使用的模型架构如下：

BERT_base：L＝12，H＝768,A＝12,TotalParameters＝110M；

态度偏差有如下公式进行计算：

其中s(a,C1,C2)表示w与属性词之间的关联程度；

其中，E.Size表示群体对概念C_i或C_j与属性D_p或D_q的关联大小，即为态度偏差。