[发明专利]长文本的分段方法及装置、存储介质、电子装置

说明书

本发明提供了一种长文本的分段方法及装置、存储介质、电子装置，其中，该方法包括：将源语音文档转换为文本文档；将所述文本文档转换为向量序列，其中，所述向量序列包括词向量序列和句向量序列；根据所述向量序列生成语篇树，其中，所述语篇树的每个叶子节点对应所述句向量序列的一个句向量，叶子节点的父节点对应下级至少两个叶子节点之间的连贯性关系；基于所述语篇树生成所述文本文档的段落分割点，并采用所述段落分割点对所述文本文档进行分段。通过本发明，解决了相关技术对长文本自动分段的准确率低的技术问题，实现了长文本的自动和准确分段，提高了自动识别文本的可读性。

技术领域

本发明涉及计算机领域，具体而言，涉及一种长文本的分段方法及装置、存储介质、电子装置。

背景技术

相关技术中，会议是日常生活中经常开展的一项活动，以语音作为主要载体的会议，比如：单位现场会议、远程会议、议会会议、听证会等，它们包含大量语音信息，同时也存在很多冗余信息，通过直接收听语音或者观看视频来筛选自己所需的信息，是相当费时费力的。随着人工智能技术和自然语言技术近年来的迅速发展，越来越多与语音文本相关的项目开始得到研发并落地运用。从大型长文档(例如：会议语音文档、法律文档、技术手册和论文文章等)中了解和提取信息仍然是一项具有挑战性的任务。由语音识别得到的会议语音文档，通常是一整段长文档的无段落结构，不方便阅读，是一个十分有必要去解决的问题。

相关技术中，句子连贯分析的技术方法有基于贪心转换的算法，优点在于解析时间是线性复杂度，效率较高，但缺点在于每一步的决策都是基本句子局部信息，忽视了文本全文的信息，如果在一个部分分析错误，则会导致连续累积的错误；另一种是基于图表的解析方法，优点在于结果更精确，缺点在于速度很慢。但是这些方法不适配于现在深度神经网络的训练方式，同时没能充分联系上下文信息来进行连贯性关系的分析。相关技术中的文本分段将分段看作是一个序列标注任务，针对一篇文章，然后寻找段落与段落之间的相似程度，从而得到分割点。但是这种方法只在上下文有明显差异的文章才能得到不错的分块效果，分段的准确率较低。

针对相关技术中存在的上述问题，目前尚未发现有效的解决方案。

发明内容

本发明实施例提供了一种长文本的分段方法及装置、存储介质、电子装置。

根据本发明的一个实施例，提供了一种长文本的分段方法，包括：将源语音文档转换为文本文档；将所述文本文档转换为向量序列，其中，所述向量序列包括词向量序列和句向量序列；根据所述向量序列生成语篇树，其中，所述语篇树的每个叶子节点对应所述句向量序列的一个句向量，叶子节点的父节点对应下级至少两个叶子节点之间的连贯性关系；基于所述语篇树生成所述文本文档的段落分割点，并采用所述段落分割点对所述文本文档进行分段。

可选的，根据所述句向量序列生成语篇树包括：对所述句向量序列进行压缩和选择编码得到句状态序列，其中，所述句状态序列包括所有句子的状态序列向量；在初始化堆栈中存储所述文本文档的词向量序列，递归循环以下步骤，直到所述初始化堆栈中的内容全部被提取出来，生成第一词状态向量序列：从所述初始化堆栈的顶部提取出一个词向量，并利用所述句状态序列中的状态序列向量计算该词向量的状态向量；将所述第一词状态向量序列分割为第一序列和第二序列，基于所述第一序列与所述第二序列生成语篇树。