[发明专利]用于输出信息的方法和装置

说明书

技术领域

本申请实施例涉及计算机技术领域，具体涉及自然语言处理技术领域，尤其涉及用于输出信息的方法和装置。

背景技术

主题模型是对文字隐含主题进行建模的方法，它克服了传统信息检索中文档相似度计算方法的缺点，并且能够在海量数据中自动寻找文字间的语义主题。由于主题模型可以广泛应用于文本搜索、广告推荐等领域，因此，近些年来各大互联网公司开始对主题模型相关内容进行探索与研究。

发明内容

本申请实施例提出了一种用于输出信息的方法和装置。

第一方面，本申请实施例提供了一种用于输出信息的方法，该方法包括：接收测试文本；将测试文本进行分词得到测试词语，并生成至少一个包含测试词语的测试词语组；针对至少一个测试词语组中的每个测试词语组，将该测试词语组输入预先训练的主题模型中，得到该测试词语组所属的主题以及主题的概率分布，其中，主题模型用于表征词语组与词语组所属的主题以及主题的概率分布的对应关系；基于每个测试词语组所属的主题以及主题的概率分布，确定测试文本所属的主题以及主题的概率分布，并输出包含测试文本所属的主题以及主题的概率分布的信息。

在一些实施例中，主题模型是通过如下步骤训练得到：获取训练文本和训练信息，其中，训练信息包括训练时所用词语组中所包含的词语的数量；对训练文本进行分词得到至少一个训练词语，并生成至少一个包含数量个训练词语的训练词语组；对于至少一个训练词语中每个训练词语，获取该训练词语所属的主题以及主题的概率分布；针对生成的每个训练词语组，基于该训练词语组所包含的至少一个训练词语中的每个训练词语所属的主题以及主题的概率分布，确定该训练词语组所属的主题以及主题的概率分布；利用机器学习方法，将至少一个训练词语组作为输入，将至少一个训练词语组中每个训练词语组所属的主题以及主题的概率分布作为输出，训练得到主题模型。

在一些实施例中，获取该训练词语所属的主题以及主题的概率分布，包括：向目标参数服务器发送获取该训练词语所属的主题以及主题的概率分布的请求，其中，目标参数服务器中存储有词语与词语所属的主题以及主题的概率分布的对应关系；接收目标参数服务器返回的该训练词语所属的主题以及主题的概率分布。

在一些实施例中，该方法还包括：针对至少一个测试词语组中的每个测试词语组，基于该测试词语组所属的主题以及主题的概率分布，对该测试词语组所包含的每个测试词语所属的主题以及主题的概率分布进行更新；向目标参数服务器发送更新后的每个测试词语所属的主题以及主题的概率分布，以供目标参数服务器对更新后的每个测试词语所属的主题以及主题的概率分布进行存储。

在一些实施例中，确定测试文本所属的主题以及主题的概率分布，包括：针对至少一个测试词语组中的每个测试词语组，将该测试词语组所属的主题确定为测试文本所属的主题；针对测试文本所属的每个主题，将至少一个测试词语组属于该主题的概率相加，并将相加得到的和除以至少一个测试词语组中测试词语组的数量的商确定为测试文本属于该主题的概率。

第二方面，本申请实施例提供了一种用于输出信息的装置，该装置包括：接收单元，配置用于接收测试文本；生成单元，配置用于将测试文本进行分词得到测试词语，并生成至少一个包含测试词语的测试词语组；输入单元，配置用于针对至少一个测试词语组中的每个测试词语组，将该测试词语组输入预先训练的主题模型中，得到该测试词语组所属的主题以及主题的概率分布，其中，主题模型用于表征词语组与词语组所属的主题以及主题的概率分布的对应关系；输出单元，配置用于基于每个测试词语组所属的主题以及主题的概率分布，确定测试文本所属的主题以及主题的概率分布，并输出包含测试文本所属的主题以及主题的概率分布的信息。

在一些实施例中，该装置还包括用于训练主题模型的训练单元，该训练单元配置用于：获取训练文本和训练信息，其中，训练信息包括训练时所用词语组中所包含的词语的数量；对训练文本进行分词得到至少一个训练词语，并生成至少一个包含数量个训练词语的训练词语组；对于至少一个训练词语中每个训练词语，获取该训练词语所属的主题以及主题的概率分布；针对生成的每个训练词语组，基于该训练词语组所包含的至少一个训练词语中的每个训练词语所属的主题以及主题的概率分布，确定该训练词语组所属的主题以及主题的概率分布；利用机器学习方法，将至少一个训练词语组作为输入，将至少一个训练词语组中每个训练词语组所属的主题以及主题的概率分布作为输出，训练得到主题模型。