[发明专利]文本处理方法、同义文本召回方法及装置

权利要求书

1.一种文本数据库的文本处理方法，包括：

获取文本数据库中所有文本的特征向量；

根据所有文本的特征向量，将所有文本进行分类聚簇，得到多个同义文本簇，所述同义文本簇包含具有同义关系的多个文本；

针对每个同义文本簇，从该同义文本簇中确定出一个文本，以作为该同义文本簇对应的代表文本；

根据所有代表文本的特征向量，创建所述文本数据库的目标查询索引。

2.根据权利要求1所述的文本处理方法，其中所述获取文本数据库中所有文本的特征向量，包括：

利用预设的度量表示模型获取所述文本数据库中每个所述文本的特征向量。

3.根据权利要求2所述的文本处理方法，其中所述度量表示模型为BERT预训练模型。

4.根据权利要求1所述的文本处理方法，其中所述根据所有文本的特征向量，将所有文本进行分类聚簇，得到多个同义文本簇，包括：

根据所述文本数据库中所有文本的特征向量，创建所述文本数据库的初始查询索引；

针对所述文本数据库中的每个文本，通过初始查询索引查询出与该文本匹配的文本，生成初始同义关系信息，所述初始同义关系信息包括该文本和与该文本匹配的文本；

利用预设的同义判别模型对每个初始同义关系信息中的文本进行同义判别，去除所有初始同义关系信息中不满足同义关系的初始同义关系信息；

将剩余的初始同义关系信息中存在交集的初始同义关系信息划分为一类初始同义关系信息，每类初始同义关系信息作为一个所述同义文本簇。

5.根据权利要求4所述的文本处理方法，其中所述通过初始查询索引查询除与该文本匹配的文本，生成初始同义关系信息，包括：

在所述初始查询索引中，利用近邻检索技术查询出与该文本匹配的文本，以生成所述初始同义关系信息。

6.根据权利要求5所述的文本处理方法，其中所述近邻检索技术采用HNSW算法。

7.根据权利要求4所述的文本处理方法，其中所述同义判别模型为BERT分类模型。

8.根据权利要求4所述的文本处理方法，其中所述将剩余的初始同义关系信息中存在交集的初始同义关系信息划分为一类初始同义关系信息，每类初始同义关系信息作为一个所述同义文本簇，包括：

针对剩余的初始同义关系信息，将初始同义关系信息中的每个文本作为节点，将初始同义关系信息中文本之间的匹配关系作为边，构建欧拉图；

利用预设连通子图发现算法，确定所述欧拉图中的所有连通子图；

根据所述连通子图确定存在交集的初始同义关系信息，以生成所述同义文本簇。

9.根据权利要求8所述的文本处理方法，其中所述连通子图发现算法包括并查集算法。

10.根据权利要求1所述的文本处理方法，其中所述从该同义文本簇中确定出一个文本，以作为该同义文本簇对应的代表文本，包括：

针对该同义文本簇中的每个文本，确定该文本在该同义文本簇中对应的同义关系数量；

将该同义文本簇中同义关系数量最多的任一个文本作为该同义文本簇对应的代表文本。

11.根据权利要求1所述的文本处理方法，其中所述根据所有代表文本的特征向量，创建所述文本数据库的目标查询索引之前，还包括：

针对每个所述同义文本簇中的每个文本，利用预设的同义判别模型识别该文本与该同义文本簇对应的所述代表文本是否具有同义关系；

在识别出该文本与该同义文本簇对应的所述代表文本不具有同义关系的情形下，将该文本从该同义文本簇中剔除。