[发明专利]文本处理方法、装置、计算机设备及计算机可读存储介质

权利要求书

1.一种文本处理方法，其特征在于，所述文本处理方法包括：

获取待处理文本；

基于马氏距离和皮尔逊距离分别计算预先构建的第一文本集中的每条文本与所述待处理文本之间的第一混合距离，其中，所述第一文本集的数量大于等于2；

基于所述第一混合距离分别计算所述待处理文本与每个所述第一文本集之间的平均相似度；

基于所述平均相似度对所述待处理文本进行归类。

2.根据权利要求1所述的文本处理方法，其特征在于，所述基于马氏距离和皮尔逊距离分别计算预先构建的第一文本集中的每条文本与所述待处理文本之间的第一混合距离，包括：

将所述第一文本集输入预先构建的词向量模型中，得到每条文本对应的第一特征向量；

将所述待处理文本输入所述词向量模型中，得到所述待处理文本的第二特征向量；

基于马氏距离和皮尔逊距离分别计算每个所述第一特征向量与所述第二特征向量之间的第一混合距离。

3.根据权利要求1所述的文本处理方法，其特征在于，所述基于所述平均相似度对所述待处理文本进行归类，包括：

判断所述平均相似度中的最大值是否大于预设的相似度阈值；

若所述最大值大于所述相似度阈值，则将所述待处理文本归类至目标文本集中，其中，所述目标文本集为所述最大值所对应的第一文本集。

4.根据权利要求3所述的文本处理方法，其特征在于，在所述判断所述平均相似度中的最大值是否大于预设的相似度阈值之后，所述文本处理方法还包括：

若所述最大值小于或等于所述相似度阈值，则将所述待处理文本归类至预先构建的第二文本集中，所述第二文本集记录了未归类至所述第一文本集中的待处理文本。

5.根据权利要求3或4所述的文本处理方法，其特征在于，所述相似度阈值通过如下步骤确定：

获取所述目标文本集中的每条文本的热度值；

将热度值最高的文本确定为核心文本；

基于所述马氏距离和所述皮尔逊距离计算所述目标文本集中除所述核心文本以外的每条文本与所述核心文本之间的第二混合距离；

基于所述第二混合距离确定所述相似度阈值。

6.根据权利要求1所述的文本处理方法，其特征在于，在所述基于所述平均相似度对所述待处理文本进行归类之后，所述文本处理方法还包括：

针对每个第一文本集：

在预设时间段内，统计所述第一文本集中每条文本的点击率；

若存在目标文本，则将所述目标文本从所述第一文本集中删除，所述目标文本为点击率小于预设点击率阈值的所述文本。

7.根据权利要求1所述的文本处理方法，其特征在于，在所述基于马氏距离和皮尔逊距离分别计算预先构建的第一文本集中的每条文本与所述待处理文本之间的第一混合距离之后，所述文本处理方法还包括：

将所述待处理文本、所述第一混合距离和/或所述第一文本集上传至区块链中。

8.一种文本处理装置，其特征在于，所述文本处理装置包括：

第一获取模块，用于获取待处理文本；

第一计算模块，用于基于马氏距离和皮尔逊距离分别计算预先构建的第一文本集中的每条文本与所述待处理文本之间的第一混合距离，其中，所述第一文本集的数量大于等于2；

第二计算模块，用于基于所述第一混合距离分别计算所述待处理文本与每个所述第一文本集之间的平均相似度；

归类模块，用于基于所述平均相似度对所述待处理文本进行归类。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。