[发明专利]一种融合主题信息的司法舆情文本摘要方法

权利要求书

1.一种融合主题信息的司法舆情文本摘要方法，其特征在于：

所述融合主题信息的司法舆情文本摘要方法的具体步骤如下：

Step1、从互联网采集数据，对数据进行处理，构造司法舆情文本摘要数据集；所述司法舆情文本摘要数据集中每个文本对应一个标准摘要Y；

Step2、在上述构造的司法舆情文本摘要数据集基础上，利用主题模型生成包含主题词和文档主题概率分布的司法舆情主题知识库；

Step3、编码器对新闻文本序列X和对应的主题词W分别进行编码，得到新闻文本隐状态序列H和新闻文本主题词隐状态序列H′，并计算生成新闻文本相关的主题向量c′；

Step4、基于新闻文本相关的主题向量c′和新闻文本隐状态序列H，生成摘要解码向量序列R＝{r₁,r₂,…,r_M}；

Step5、计算生成摘要的主题概率s^prob和文档主题损失KL_loss；

Step6、基于标准摘要Y和生成的摘要计算其负对数似然损失NL_loss，结合上述KL_loss得到整个模型的损失，通过梯度下降算法对模型进行训练，得到优化模型，最后利用优化模型在测试集上进行测试，优化模型读取测试序列生成相应的摘要序列。

2.根据权利要求1所述的融合主题信息的司法舆情文本摘要方法，其特征在于：所述步骤Step1的具体步骤为：

Step1.1、从互联网采集舆情数据并进行格式化处理，得到新闻正文和新闻标题，构造以新闻正文为源文本，新闻标题为摘要的数据集；

Step1.2、利用人工标注的方式，对摘要数据集进行标注，判断每条新闻是否为司法舆情相关新闻，得到司法舆情文本摘要数据集；所述司法舆情文本摘要数据集中每个文本对应一个标准摘要Y；

Step1.3、基于上述的司法舆情文本摘要数据集，进行数据预处理。

3.根据权利要求2所述的融合主题信息的司法舆情文本摘要方法，其特征在于：所述步骤Step1.3的具体步骤为：

Step1.3.1、过滤新闻正文少于10个字或者新闻标题少于5个字的噪声数据；

Step1.3.2、新闻正文和新闻标题中所有数字以#替代；

Step1.3.3、过滤新闻正文和新闻标题中的乱码字符；

Step1.3.4、利用jieba对新闻正文和新闻标题进行分词；

Step1.3.5、构造词汇表；

Step1.3.6、划分训练集、开发集和测试集。

4.根据权利要求1所述的融合主题信息的司法舆情文本摘要方法，其特征在于：所述步骤Step2的具体步骤为：

Step2.1、利用LDA主题模型，生成每个新闻正文对应的文档主题概率分布d^prob和每个词在主题下的概率分布w^prob；

Step2.2、通过下式计算得到每个文档对应主题d^topic：d^topic＝argmax(d^prob)；

Step2.3、通过下式从w^prob中选取概率最高的前K个词：w₁,w2,…w_K，作为主题为d^topic文档的新闻文本主题词序列W＝(w₁,w2,…w_K)：W＝topK(w^prob)；

其中K为新闻文本主题词序列长度，设置为20。