[发明专利]基于非监督的文本去噪方法、系统、电子设备及存储介质

权利要求书

1.一种基于非监督的文本去噪方法，其特征在于，包括：

文本收集步骤，根据预设的主题词收集包含所述主题词的文本数据；

相似度计算步骤，计算所述主题词与一词向量数据库中目标词的相似度，并获取所述相似度满足一阈值要求的所有所述目标词作为主题相关词；

噪声去除步骤，计算所述文本数据与所述主题相关词的匹配度，并将所述匹配度不满足一阈值要求的所述文本数据作为噪声去除。

2.如权利要求1所述的基于非监督的文本去噪方法，其特征在于，所述相似度计算步骤还包括：

将所述主题词与所述目标词表征为embedding向量，并根据所述主题词与所述目标词的embedding向量计算所述相似度。

3.如权利要求2所述的基于非监督的文本去噪方法，其特征在于，所述相似度计算步骤还包括：

根据一欧氏距离公式计算所述主题词与所述目标词的相似度，所述欧氏距离公式为

其中，X为主题词的embedding向量，Y为目标词的embedding向量，n为embedding向量的维度。

4.如权利要求1所述的基于非监督的文本去噪方法，其特征在于，所述噪声去除步骤还包括：

文本分词步骤，使用一分词工具对所述文本数据进行分词得到文本分词；

文本匹配步骤，提取与所述主题相关词重合的所述文本分词，并根据提取出的所述文本分词计算所述文本数据与所述主题相关词的匹配度。

5.一种基于非监督的文本去噪系统，其特征在于，包括：

文本收集单元，根据预设的主题词收集包含所述主题词的文本数据；

相似度计算单元，计算所述主题词与一词向量数据库中目标词的相似度，并获取所述相似度满足一阈值要求的所有所述目标词作为主题相关词；

噪声去除单元，计算所述文本数据与所述主题相关词的匹配度，并将所述匹配度不满足一阈值要求的所述文本数据作为噪声去除。

6.如权利要求5所述的基于非监督的文本去噪系统，其特征在于，所述相似度计算单元还包括：

将所述主题词与所述目标词表征为embedding向量，并根据所述主题词与所述目标词的embedding向量计算所述相似度。

7.如权利要求6所述的基于非监督的文本去噪系统，其特征在于，所述相似度计算单元还包括：

根据一欧氏距离公式计算所述主题词与所述目标词的相似度，所述欧氏距离公式为

其中，X为主题词的embedding向量，Y为目标词的embedding向量，n为embedding向量的维度。

8.如权利要求5所述的基于非监督的文本去噪系统，其特征在于，所述噪声去除单元还包括：

文本分词模块，使用一分词工具对所述文本数据进行分词得到文本分词；

文本匹配模块，提取与所述主题相关词重合的所述文本分词，并根据提取出的所述文本分词计算所述文本数据与所述主题相关词的匹配度。

9.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至4中任一项所述的基于非监督的文本去噪方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4中任一项所述的基于非监督的文本去噪方法。