[发明专利]一种用于文本段落划分的方法和装置

说明书

本申请公开了一种用于文本段落划分的方法和装置。该方法的一具体实施方式包括：计算各自然段之间的相似度数值，然后计算所述相似度数值的平均值，再基于门槛值进行大段落划分；对所述大段落分别进行词语特征值计算，并计算所述大段落中特征值最大的n个共同词的熵；基于所述相似度数值的平均值进行门槛值滑动，通过不同的门槛值分别计算所述共同词的熵，取所述熵最小的划分结果为最优划分。该实施方式有利于提高段落相似性的门槛值确定的准确性，从而提高文本段落划分的准确性。

技术领域

本申请涉及文本处理领域，具体涉及一种用于文本段落划分的方法和装置。

背景技术

随着信息时代的迅猛发展，来自各种渠道的信息正在以惊人的速度增长着。在处理大量信息时，人们通常需要在各自然段的基础上划分出更大的段落，然后再进行分类处理。

传统的大段落划分通常采用人工的方式进行归类，但在效率和成本上明显处于劣势。近年来，TexTiling算法开始被广泛用于计算自然段的相似性，再将相似性大的自然段聚在同一个大段落中。但是利用TexTiling算法进行大段落划分时，相似性的门槛值确定准确度不高，进而影响大段落划分的准确性。

因此在传统的文本段落划分中，依然存在着有待解决的问题。

发明内容

本申请的目的在于提出了一种改进的用于文本段落划分的方法和装置，来解决大段落划分准确性低、门槛值不易确定等技术问题。

第一方面，本申请提供了一种用于文本段落划分的方法，该方法包括：

S1，计算各自然段之间的相似度数值，然后计算相似度数值的平均值，再基于门槛值进行大段落划分；

S2，对大段落分别进行词语特征值计算，并计算大段落中特征值最大的n个共同词的熵；

S3，基于相似度数值的平均值进行门槛值滑动，通过不同的门槛值分别计算共同词的熵，取熵最小的划分结果为最优划分。

在一些实施例中，该方法的步骤S1之前还包括：S0，对待处理文本进行预处理，去除文本的html标签，再对文本进行分词处理和停用词去除，以减少噪声干扰。

在一些实施例中，步骤S1具体还包括：通过余弦相似性算法计算各自然段之间的相似度数值：

其中，s为相似度，∣A∣×∣B∣为自然段之间的向量内积，A·B为自然段的向量长度。

在一些实施例中，该方法的步骤S1具体还可以包括：通过simhash算法计算各自然段之间的相似度数值：通过hash算法将各自然段中的词语转为hash值，同时计算词语的tf-idf值，基于tf-idf值为权值计算词语的权重值，即当hash值为0时，该位为负权重值，当hash值为1时，该位为正权重值；合并各自然段中词语的hash值和权重值，之后各位转为0和1(即大于0为1，小于等于0为0)，再计算所述自然段之间的海明距离。

在一些实施例中，该方法的步骤S2的词语特征值计算，具体包括：

tfidfi_i＝tfi_i·idfi_i  (3)

其中，n_i,j是第j段大段落中第i个词语的数量，∑_kn_k,j是第j段大段落的词语数量，|D|为划分的大段落中含有的自然段的数量，|{j:t_i∈d_j}|为含有第i个词语的自然段的数量。

在一些实施例中，该方法的步骤S3的计算共同词的熵，具体包括：