[发明专利]文本处理方法、装置、计算机设备以及存储介质

说明书

本申请实施例公开了一种文本处理方法、装置、计算机设备以及存储介质，文本处理方法可以应用于人工智能领域，文本处理方法包括：获取待处理的文本，文本包括N个词组，N是正整数；对N个词组进行编码，得到N个词组特征；对N个词组特征分别进行冗余识别处理，确定每个词组特征的第一聚合权重；第一聚合权重表示词组特征对应的词组属于非冗余词组的概率；根据每个词组特征的第一聚合权重，将N个词组特征聚合为文本的非冗余文本特征，输出非冗余文本特征。采用本申请，可以提高提取文本的非冗余文本特征的效率。

技术领域

本申请涉及计算机技术领域，尤其涉及一种文本处理方法、装置、计算机设备以及存储介质。

背景技术

语义冗余现象广泛地存在于各种文本数据中，例如新闻资讯、直播评论、口语对话等文本，冗余信息会对文本理解、语义转化等造成干扰和噪音，甚至扭曲原意，因此对语义冗余进行识别和过滤，能够提升人工智能领域下的自然语言理解任务的效果，也是许多文本处理领域改进下游任务效果的关键环节。

目前，为了提取文本数据的非冗余特征，由人工识别出文本中的冗余词组，再提取剩余非冗余词组所构成的文本的文本特征，该文本特征作为非冗余文本特征可以用于下游文本处理任务，提高文本处理效果。由于人工识别冗余词组会耗费大量的时间，造成提取文本数据的非冗余特征的效率低下。

发明内容

本申请实施例提供一种文本处理方法、装置、计算设备以及存储介质，可以提高提取文本的非冗余文本特征的效率。

本申请实施例一方面提供了一种文本处理方法，包括：

获取待处理的文本，所述文本包括N个词组，N是正整数；

对所述N个词组进行编码，得到N个词组特征；

对所述N个词组特征分别进行冗余识别处理，确定每个词组特征的第一聚合权重；所述第一聚合权重表示词组特征对应的词组属于非冗余词组的概率；

根据每个词组特征的第一聚合权重，将所述N个词组特征聚合为所述文本的非冗余文本特征，输出所述非冗余文本特征。

本申请实施例一方面提供了一种文本处理装置，包括：

获取模块，用于获取待处理的文本，所述文本包括N个词组，N是正整数；

编码模块，用于对所述N个词组进行编码，得到N个词组特征；

识别模块，用于对所述N个词组特征分别进行冗余识别处理，确定每个词组特征的第一聚合权重；所述第一聚合权重表示词组特征对应的词组属于非冗余词组的概率；

聚合模块，用于根据每个词组特征的第一聚合权重，将所述N个词组特征聚合为所述文本的非冗余文本特征；

输出模块，用于输出所述非冗余文本特征。

本申请实施例一方面提供了一种计算机设备，包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行上述各实施例中的方法。

本申请实施例一方面提供了一种计算机存储介质，计算机存储介质存储有计算机程序，计算机程序包括程序指令，程序指令当被处理器执行时，执行上述各实施例中的方法。

本申请实施例一方面提供了一种计算机程序产品或计算机程序，计算机程序产品或计算机程序包括计算机指令，计算机指令存储在计算机可读存储介质中，计算机指令被计算机设备的处理器执行时，执行上述各实施例中的方法。