[发明专利]文档分析方法及装置、计算机可读存储介质、计算机设备

说明书

一种文档分析方法及装置、计算机可读存储介质、计算机设备，所述方法包括：获取目标文档，将所述目标文档分割为多个句子；根据所述目标文档的结构化程度选择对应的向量生成模型，所述向量生成模型以多个原语料和各个原语料对应的增强语料为样本、经过对比学习得到；将所述目标文档的多个句子输入选择的向量生成模型中，得到所述多个句子各自的向量；对所述多个句子各自的向量进行聚类，得到一个或多个向量簇；根据所述一个或多个向量簇得到所述目标文档的分析结果。由此，能够通过无监督学习实现对文档的智能分析，降低模型网络的复杂程度，减少计算开销。

技术领域

本发明涉及文档分析领域以及计算机技术领域，尤其涉及一种文档分析方法及装置、计算机可读存储介质、计算机设备。

背景技术

随着计算机技术、大数据技术等的发展，电子文档得到了广泛的应用，如何智能分析电子文档也成为当前的普遍需求。对电子文档的分析可以包括确定该电子文档中的内容、从电子文档中提取问题和答案、将电子文档中内容基于文字含义进行分类等等。

当前一般采用有监督学习得到模型对电子文档进行分析，然而，有监督学习的方式在模型训练过程中要对训练语料标注标签，增加了模型网络的复杂程度，也会提高计算开销。

发明内容

本发明解决的技术问题是如何通过无监督学习实现对文档的智能分析，降低模型网络的复杂程度，减少计算开销。

为解决上述问题，本发明实施例提供了一种文档分析方法，所述方法包括：获取目标文档，将所述目标文档分割为多个句子；根据所述目标文档的结构化程度选择对应的向量生成模型，所述向量生成模型以多个原语料和各个原语料对应的增强语料为样本、经过对比学习得到；将所述目标文档的多个句子输入选择的向量生成模型中，得到所述多个句子各自的向量；对所述多个句子各自的向量进行聚类，得到一个或多个向量簇；根据所述一个或多个向量簇得到所述目标文档的分析结果。

可选的，所述向量生成模型包括第一向量生成模型，所述根据所述目标文档的结构化程度选择对应的向量生成模型，包括：当所述目标文档的结构化程度为低结构化程度时，选择所述第一向量生成模型；其中，在所述第一向量生成模型中，所述原语料对应的增强语料是将所述原语料中的多个句子的顺序打乱后生成。

可选的，所述向量生成模型包括第二向量生成模型，所述根据所述目标文档的结构化程度选择对应的向量生成模型，包括：当所述目标文档的结构化程度为高结构化程度时，选择所述第二向量生成模型；其中，在所述第二向量生成模型中，所述原语料由N个句子连接得到，所述原语料对应的增强语料由所述N个句子调整顺序后连接得到，N为大于等于2的正整数。

可选的，所述原语料中的N个句子从样本文档中分割得到；当所述样本文档中仅包括1个句子时，将所述1个句子作为所述原语料，将该句子打乱词序后得到的句子作为所述原语料对应的增强语料；当所述样本文档中包括2个句子时，将所述2个句子按照样本文档中的排列顺序连接作为所述原语料，将所述2个句子调换句子顺序后连接得到所述原语料对应的增强语料；当所述样本文档中的句子数量大于2时，所述原语料d_i用以下公式表示：d_i＝t_2i-1+t_2i，所述原语料d_i对应的增强语料d_i′用以下公式表示：d_i′＝t_2i+t_2i+1；其中，i＝1,2,…(n-1)/2；n为所述样本文档的句子数量，t_2i为所述样本文档中第2i个句子，“t_2i-1+t_2i”表示所述样本文档中第2i-1个句子和所述样本文档中第2i个句子连接。

可选的，所述向量生成模型的损失函数L_CL用以下公式表示：

其中，l_i根据如下公式得到：