[发明专利]用于文档关键语句识别的方法与设备

说明书

本申请的目的是提供一种文档关键语句识别的方法与设备。与现有技术相比，本申请通过基于文档中的文字内容对文档进行分词处理，获得所述文档对应的多个词条；计算每个词条的词条重要性分值，确定词条重要性分值排名靠前的M个词条，其中，M为预设值；对所述文档进行分句处理，获得关于该文档的句子集合；遍历所述句子集合，将包含所述M个词条中的一个或多个的句子筛选出来；基于所述M个词条的词条重要性分值，计算筛选出来的句子的句子重要性分值，确定句子重要性分值最高的一个或多个句子作为文档关键语句，通过这种方式能够准确的识别文档的关键语句，便于了解文档内容。

技术领域

本申请涉及计算机技术领域，尤其涉及一种用于文档关键语句识别的技术。

背景技术

由于公开网站中存在着海量的文档数据，而对于文档来说，通常存在着能够表征该文档信息的中心句，即文档中的关键语句，如果能够对关键语句进行提取则能够很快的了解文档信息，有助于对文档的分享或者归类等等，但是现有技术中未有对文档的关键语句进行识别的技术。

发明内容

本申请的目的是提供一种用于文档关键语句识别的方法与设备。

根据本申请的一个方面，提供了一种用于文档关键语句识别的方法，其中，该方法包括：

基于文档中的文字内容对文档进行分词处理，获得所述文档对应的多个词条；

计算每个词条的词条重要性分值，确定词条重要性分值排名靠前的M个词条，其中，M为预设值；

对所述文档进行分句处理，获得关于该文档的句子集合；

遍历所述句子集合，将包含所述M个词条中的一个或多个的句子筛选出来；

基于所述M个词条的词条重要性分值，计算筛选出来的句子的句子重要性分值，确定句子重要性分值最高的一个或多个句子作为文档关键语句。

进一步地，其中，所述基于文档中的文字内容对文档进行分词处理，获得所述文档对应的多个词条包括：

获取所述文档的标题和正文；

基于所述文档的标题和正文的文字内容分别对其进行分词处理，获得多个标题词条及正文词条；

其中，所述方法还包括：

对所述标题词条增加预设的权重，以对增加权重后的标题词条计算词条重要性分值。

进一步地，其中，所述方法还包括：

对筛选出来的句子作语义分析，根据语义分析结果为筛选出来的句子分别赋予预设的权重值；

其中，所述基于所述M个词条的词条重要性分值，计算筛选出来的句子的句子重要性分值，确定句子重要性分值最高的一个或多个句子作为文档关键语句包括：

基于所述M个词条的重要性分值以及所述预设的权重值，计算筛选出来的句子的句子重要性分值，确定句子重要性分值最高的一个或多个句子作为文档关键语句。

进一步地，其中，所述方法还包括：

获取公开的D篇文档作为基础语料集合，其中，所述D为预设值；

对所述基础语料集合中的文档进行分词处理，获得基础词条；

其中，所述基于文档中的文字内容对文档进行分词处理，获得所述文档对应的多个词条包括：

基于文档中的文字内容对文档进行分词处理，并基于所述基础词条，获得所述文档对应的多个词条。

进一步地，其中，所述计算每个词条的重要性分值公式为：

f_i＝tf_i,j乘以idf_i，其中，