[发明专利]词语的获取方法及装置、存储介质、处理器

说明书

本发明提供了一种词语的获取方法及装置、存储介质、处理器。其中，该词语的获取方法包括：提取确定的词语序列中的多个文本特征，并确定每个所述文本特征对应的指标信息；通过预设词语长度阈值对所述词语序列中的词语进行过滤，提取出满足所述预设词语长度阈值的词语集合；融合多个所述文本特征对应的指标信息得到指标阈值，并通过所述指标阈值对满足所述预设词语长度阈值的词语集合过滤，提取出满足所述指标阈值的候选词语集合；根据预设的筛选指标对所述候选词语集合进行筛选以获取词语指定词语。通过本发明，解决了相关技术中在发现新词时浪费大量人力物力，同时很大程度上依赖于高完备性词典的问题。

技术领域

本发明涉及语言处理领域，具体而言，涉及一种词语的获取方法及装置、存储介质、处理器。

背景技术

随着信息技术的飞速发展，信息媒体已发展成为人们日常生活不可或缺的部分，人们可以在互联网上浏览新闻资讯，如新浪网，腾讯网等，也可以在多媒体社交中发表个人意见，如新浪微博，微信等。同时，人们在线活动所产生的超大规模文本信息促进了自然语言处理技术的飞速发展。舆情分析平台的建设紧密依赖于自然语言处理技术，因此，自然语言处理技术的精确性和及时性变得尤为重要。一方面，自然语言处理，如中文分词，新词发现等技术的精确可以确保信息分析结果的可靠；另一方面，超大规模的文本信息处理的效率可以给信息使用者带来最及时的分析结果，例如，中文新词发现的时效性，对当前信息的舆情监控和后续信息的处理都有促进作用。

目前中文自然语言处理技术正吸引着越来越多的科研学者和工程人员的投入，并随着人工智能技术的跨越式发展，中文自然语言处理已逐步发现成为人工智能的热点问题之一。同时，大规模分布式计算技术的成熟，为自然语言处理技术带来新的突破视角。比如，百度搜索，搜狗输入法等系列产品的推出，

然而，自然语言处理技术仍存在很多难以解决的问题，例如，新词发现。传统意义上，是否为新词汇主要是相对于其出现的时间而定的。对于已经掌握的语料词库，其中的词汇被定义为旧词，即为过去时间出现的词汇。因此，所发现的新词可以抽象为在词库中不存在的词汇。

现有方法主要分为基于统计的中文分词技术和基于机器学习方法的中文分词技术。前者主要根据中文词语的构词法和语料中字词出现的统计规律，但操作过程需要大工作量的人工参与，对数据的具体情况做特殊分析和过滤，耗时太长。后者主要基于词典，结合机器学习算法进行分词，不过分词的效果依赖于词典的完备。在大量词典不完备的情况下，很难得到满意的结果。再者，超大规模，例如TB级，PB级的语料对于算法性能也是一个巨大的挑战。故而，相关技术中的在发现新词时浪费大量人力物力，同时很大程度上依赖于高完备性词典的问题。

发明内容

本发明实施例提供了一种词语的获取方法及装置、存储介质、处理器，以至少解决相关技术中在发现词语时浪费大量人力物力，同时很大程度上依赖于高完备性词典的问题。

根据本发明的一个实施例，提供了一种词语的获取方法，提取确定的词语序列中的多个文本特征，并确定每个所述文本特征对应的指标信息；通过预设词语长度阈值对所述词语序列中的词语进行过滤，提取出满足所述预设词语长度阈值的词语集合；融合多个所述文本特征对应的指标信息得到指标阈值，并通过所述指标阈值对满足所述预设词语长度阈值的词语集合过滤，提取出满足所述指标阈值的候选词语集合；根据预设的筛选指标对所述候选词语集合进行筛选以获取词语指定词语。

可选地，所述词语序列中的通过以下方式确定：对输入的原始语料进行分词处理后，获取分词结果；按照所述分词结果中词语出现的顺序，将所述分词结果转化为所述词语序列。