[发明专利]基于非监督的文本去噪方法、系统、电子设备及存储介质

说明书

本发明提出一种基于非监督的文本去噪方法、系统、电子设备及存储介质，其方法技术方案包括文本收集步骤，根据预设的主题词收集包含所述主题词的文本数据；相似度计算步骤，计算所述主题词与一词向量数据库中目标词的相似度，并获取所述相似度满足一阈值要求的所有所述目标词作为主题相关词；噪声去除步骤，计算所述文本数据与所述主题相关词的匹配度，并将所述匹配度不满足一阈值要求的所述文本数据作为噪声去除。本发明采用计算文本内容与主题词相关程度的方法，避免了传统规则统计方法可能产生的误判，并可以解决监督算法识别未知新分类的难题。

技术领域

本发明属于文字处理领域，尤其涉及一种基于非监督的文本去噪方法、系统、电子设备及存储介质。

背景技术

随着互联网的高速发展，信息发布也越来越简单便捷，每天都有海量的内容数据发布，每个内容发布平台都在努力做到提升自己的推荐算法的精准度，将合适的内容分发给合适的人。为了避免一些垃圾信息或者与主题无关的内容出现，内容的质量控制成为不可或缺的算法部分，目前对于文本内容去噪大多采用规则匹配或者结合聚类算法与多分类监督算法进行处理。

对于已知的噪声数据类型，可采取规则匹配或者标注文本构建监督型分类算法进行识别，上述方式，规则匹配存在规则设计的覆盖问题，标注文本构建监督型分类算法会产生比较大的标注工作量，以及无法识别标注类别外的数据；并且，两种方式均无法识别新的类型的噪声数据。

发明内容

本申请实施例提供了一种基于非监督的文本去噪方法、系统、电子设备及存储介质，以至少解决现有文本去噪方法工作量大且无法识别新的类型的噪声数据的问题。

第一方面，本申请实施例提供了一种基于非监督的文本去噪方法，包括：文本收集步骤，根据预设的主题词收集包含所述主题词的文本数据；相似度计算步骤，计算所述主题词与一词向量数据库中目标词的相似度，并获取所述相似度满足一阈值要求的所有所述目标词作为主题相关词；噪声去除步骤，计算所述文本数据与所述主题相关词的匹配度，并将所述匹配度不满足一阈值要求的所述文本数据作为噪声去除。

优选的，所述相似度计算步骤还包括：将所述主题词与所述目标词表征为embedding向量，并根据所述主题词与所述目标词的embedding向量计算所述相似度。

优选的，所述相似度计算步骤还包括：根据一欧氏距离公式计算所述主题词与所述目标词的相似度，所述欧氏距离公式为

其中，X为主题词的embedding向量，Y为目标词的embedding向量，n 为embedding向量的维度。

优选的，所述噪声去除步骤还包括：文本分词步骤，使用一分词工具对所述文本数据进行分词得到文本分词；文本匹配步骤，提取与所述主题相关词重合的所述文本分词，并根据提取出的所述文本分词计算所述文本数据与所述主题相关词的匹配度。

第二方面，本申请实施例提供了一种基于非监督的文本去噪系统，适用于上述一种基于非监督的文本去噪方法，包括：文本收集单元，根据预设的主题词收集包含所述主题词的文本数据；相似度计算单元，计算所述主题词与一词向量数据库中目标词的相似度，并获取所述相似度满足一阈值要求的所有所述目标词作为主题相关词；噪声去除单元，计算所述文本数据与所述主题相关词的匹配度，并将所述匹配度不满足一阈值要求的所述文本数据作为噪声去除。

在其中一些实施例中，所述相似度计算单元还包括：将所述主题词与所述目标词表征为embedding向量，并根据所述主题词与所述目标词的embedding 向量计算所述相似度。

在其中一些实施例中，所述相似度计算单元还包括：根据一欧氏距离公式计算所述主题词与所述目标词的相似度，所述欧氏距离公式为