[发明专利]文本处理方法、同义文本召回方法及装置

说明书

本公开提供了一种文本数据库的文本处理方法，涉及搜索、自然语言处理及深度学习等计算机技术领域。该文本处理方法包括：获取文本数据库中所有文本的特征向量；根据所有文本的特征向量，将所有文本进行分类聚簇，得到多个同义文本簇，所述同义文本簇包含具有同义关系的多个文本；针对每个同义文本簇，从该同义文本簇中确定出一个文本，以作为该同义文本簇对应的代表文本；根据所有代表文本的特征向量，创建所述文本数据库的目标查询索引。本公开还提供了一种同义文本召回方法、装置、电子设备及计算机可读介质。

技术领域

本公开涉及搜索、自然语言处理及深度学习等计算机技术领域，特别涉及一种文本数据库的文本处理方法、同义文本召回方法及装置、电子设备、计算机可读介质。

背景技术

在搜索领域的一种应用场景中，搜索引擎能够为广告主会提供三种关键文本匹配服务来满足不同的广告推广需求，分别是精确匹配、短语匹配和宽泛匹配。其中精确匹配是指用户的搜索需求(query)和关键文本(也称为关键词、拍卖词)或者其同义变体字面完全一致，由于其精准的流量触达能力，至今仍然是搜索引擎中极为重要的一种匹配模式。

在搜索引擎的广告机制中，触发系统的关键文本规模过大给召回和匹配带来极大的挑战，系统召回效率和待检索关键文本数量呈负相关。当触发系统预先设置了召回效率和存储的约束(约束目的是降低系统平响、存储和计算资源成本)，有限的关键文本会降低触发系统的关键词覆盖面，进一步导致收益下滑。

目前，在搜索引擎中，为了实现搜索召回，通常直接通过搜索需求(query)，在触发系统中检索全量的关键文本，从而实现同义文本召回。

发明内容

本公开提供一种文本数据库的文本处理方法、同义文本召回方法及装置、电子设备、计算机可读介质、计算机程序产品。

根据本公开的第一方面，本公开提供了一种文本数据库的文本处理方法，包括：获取文本数据库中所有文本的特征向量；根据所有文本的特征向量，将所有文本进行分类聚簇，得到多个同义文本簇，所述同义文本簇包含具有同义关系的多个文本；针对每个同义文本簇，从该同义文本簇中确定出一个文本，以作为该同义文本簇对应的代表文本；根据所有代表文本的特征向量，创建所述文本数据库的目标查询索引。

根据本公开的第二方面，本公开提供了一种同义文本召回方法，该召回方法基于文本数据库的目标查询索引实现，该目标查询索引采用上述的文本处理方法创建，该召回方法包括：获取搜索请求，所述搜索请求包括搜索文本；获取该搜索文本对应的特征向量；将该搜索文本的特征向量输入所述目标查询索引，以查询出与该搜索文本匹配的代表文本；将该代表文本和该代表文本对应的同义文本簇中所有的文本，作为该搜索文本的同义文本进行搜索召回。

根据本公开的第三方面，本公开提供了一种文本处理装置，包括：第一向量获取模块，被配置为获取文本数据库中所有文本的特征向量；文本分类模块，被配置为根据所有文本的特征向量，将所有文本进行分类聚簇，得到多个同义文本簇，所述同义文本簇包含具有同义关系的多个文本；筛选模块，被配置为针对每个同义文本簇，从该同义文本簇中确定出一个文本，以作为该同义文本簇对应的代表文本；构建模块，被配置为根据所有代表文本的特征向量，创建所述文本数据库的目标查询索引。

根据本公开的第四方面，本公开提供了一种同义文本召回装置，包括：请求获取模块，被配置为获取搜索请求，所述搜索请求包括搜索文本；第二向量获取模块，被配置为获取该搜索文本对应的特征向量；查询模块，被配置为将该搜索文本的特征向量输入文本数据库对应的目标查询索引，以查询出与该搜索文本匹配的代表文本；所述目标查询索引采用上述的文本处理方法创建；文本召回模块，被配置为将该代表文本和该代表文本对应的同义文本簇中所有的文本，作为该搜索文本的同义文本进行搜索召回。