[发明专利]文本处理方法、装置、计算机设备及计算机可读存储介质

说明书

本申请适用于数据处理技术领域，提供了一种文本处理方法、文本处理装置、计算机设备及存储介质。该文本处理方法包括：获取待处理文本；基于马氏距离和皮尔逊距离分别计算预先构建的第一文本集中的每条文本与待处理文本之间的第一混合距离，其中，第一文本集的数量大于等于2；基于第一混合距离分别计算待处理文本与每个第一文本集之间的平均相似度；基于平均相似度对待处理文本进行归类。通过本申请的方法能够降低对待处理文本输入次序的依赖，提高文本聚类的准确性。此外，本申请还涉及区块链技术。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种文本处理方法、文本处理装置、计算机设备及计算机可读存储介质。

背景技术

舆情监控依托于搜索引擎技术和文本挖掘技术，主要是通过网页内容的自动采集处理、敏感词过滤、智能聚集分类、主题检测、专题聚焦及统计分析，实现对相关网络舆情监督管理的需要。在用户理财产品持仓的风控系统中，加入舆情监测功能，可有效监测市场上存在的风险因素，及时给用户提醒并发起预警，避免因响应不及时造成亏损等风险。

目前常用的舆情聚类方法包括K-means、单通道归类算法以及分布式网络归类方法。其中，单通道聚类方法是流式数据归类的经典方法，该方法对于依次到达的数据流，按输入顺序每次处理一个数据，依据当前数据与已有类的匹配度大小，将该数据判为已有类或者创建一个新的数据类，实现流式数据的增量和动态聚类，适合对流数据进行挖掘，聚类效率高。但是对于同一聚类对象，输入次序的差异，会出现不同的聚类结果，即该聚类方法对数据的输入次序具有依赖性，导致利用该聚类方法对部分数据进行聚类时，存在聚类准确性较低的问题。

发明内容

有鉴于此，本申请实施例提供了一种文本处理方法、文本处理装置、计算机设备及计算机可读存储介质，能够降低对待处理文本输入次序的依赖，提高文本聚类的准确性。

本申请实施例的第一方面提供了一种文本处理方法，包括：

获取待处理文本；

基于马氏距离和皮尔逊距离分别计算预先构建的第一文本集中的每条文本与上述待处理文本之间的第一混合距离，其中，上述第一文本集的数量大于等于2；

基于上述第一混合距离分别计算上述待处理文本与每个上述第一文本集之间的平均相似度；

基于上述平均相似度对上述待处理文本进行归类。

本申请实施例的第二方面提供了一种文本处理装置，包括：

第一获取模块，用于获取待处理文本；

第一计算模块，用于基于马氏距离和皮尔逊距离分别计算预先构建的第一文本集中的每条文本与上述待处理文本之间的第一混合距离，其中，上述第一文本集的数量大于等于2；

第二计算模块，用于基于上述第一混合距离分别计算上述待处理文本与每个上述第一文本集之间的平均相似度；

归类模块，用于基于上述平均相似度对上述待处理文本进行归类。

本申请实施例的第三方面提供了一种计算机设备，包括存储器、处理器以及存储在上述存储器中并可在计算机设备上运行的计算机程序，上述处理器执行上述计算机程序时实现第一方面提供的文本处理方法的各步骤。

本申请实施例的第四方面提供了一种计算机可读存储介质，上述计算机可读存储介质存储有计算机程序，上述计算机程序被处理器执行时实现第一方面提供的文本处理方法的各步骤。

第五方面，本申请提供了一种计算机程序产品，上述计算机程序产品包括计算机程序，上述计算机程序被一个或多个处理器执行时实现如上述第一方面提供的文本处理方法的步骤。

实施本申请实施例提供的一种文本处理方法、文本处理装置、计算机设备及计算机可读存储介质具有以下有益效果：