[发明专利]一种融入中文笔画信息的新闻文本摘要生成的方法及装置

权利要求书

1.一种融入中文笔画信息的新闻文本摘要生成的方法，其特征在于，包括：

获取新闻文本数据，所述新闻文本数据包括新闻标题与正文；

对所述新闻文本数据进行预处理，得到所述新闻文本数据的分词文本；

对所述分词文本中的每个单词进行扫描得到该分词文本的笔画字典，将所述笔画字典转换为向量形式；

基于向量形式的笔画字典，生成各单词基于笔画信息的嵌入，并根据各单词基于笔画信息的嵌入将句子表示成嵌入向量；

将所述嵌入向量表示为有向图，并利用TextRank算法对所述有向图进行迭代，从而获得各个句子的得分，根据各个句子的得分生成摘要输出。

2.根据权利要求1所述的融入中文笔画信息的新闻文本摘要生成的方法，其特征在于，对所述新闻文本数据进行预处理，得到所述新闻文本数据的分词文本，包括：

根据中文的标点符号将所述新闻文本数据分为若干句子；

依次对每个句子进行数据清洗，删除重复数据与无效数据；

对清洗后的句子进行分词操作，将各单词之间用顿号隔开，从而得到新闻文本数据的分词文本。

3.根据权利要求1所述的融入中文笔画信息的新闻文本摘要生成的方法，其特征在于，基于向量形式的笔画字典，生成各单词基于笔画信息的嵌入，包括：

基于所述向量形式的笔画字典计算分词文本中每一个单词与上下文单词之间的相似度；

基于所述相似度，通过当前单词对其上下文单词进行概率建模，通过模型生成单词基于笔画信息的嵌入。

4.一种融入中文笔画信息的新闻文本摘要生成的装置，其特征在于，包括：

获取单元，用于获取新闻文本数据，所述新闻文本数据包括新闻标题与正文；

预处理单元，用于对所述新闻文本数据进行预处理，得到所述新闻文本数据的分词文本；

笔画字典生成单元，用于对所述分词文本中的每个单词进行扫描得到该分词文本的笔画字典，将所述笔画字典转换为向量形式；

嵌入向量生成单元，用于基于向量形式的笔画字典，生成各单词基于笔画信息的嵌入，并根据各单词基于笔画信息的嵌入将句子表示成嵌入向量；

输出单元，用于将所述嵌入向量表示为有向图，并利用TextRank算法对所述有向图进行迭代，从而获得各个句子的得分，根据各个句子的得分生成摘要输出。

5.根据权利要求4所述的融入中文笔画信息的新闻文本摘要生成的装置，其特征在于，所述预处理单元包括：

分句模块，用于根据中文的标点符号将所述新闻文本数据分为若干句子；

清洗模块，用于依次对每个句子进行数据清洗，删除重复数据与无效数据；

分词模块，用于对清洗后的句子进行分词操作，将各单词之间用顿号隔开，从而得到新闻文本数据的分词文本。

6.根据权利要求4所述的融入中文笔画信息的新闻文本摘要生成的方法，其特征在于，所述嵌入向量生成单元包括：

相似度计算模块，用于基于所述向量形式的笔画字典计算分词文本中每一个单词与上下文单词之间的相似度；

嵌入生成模块，用于基于所述相似度，通过当前单词对其上下文单词进行概率建模，通过模型生成单词基于笔画信息的嵌入。