[发明专利]一种分词的方法及服务器

说明书

本申请实施例公开了一种分词的方法及服务器，能够将由英文串、拼音串或符号串等所组成的字符串切分成多个片段，得到有效的分词结果，便于自然语言处理后续步骤的正常进行。本申请实施例方法包括：获取待分词字符串，待分词字符串属于美国信息交换标准代码ASCII字符串；通过正则表达式匹配对待分词字符串进行分词处理，得到第一ASCII字符串，其中，正则表达式包括预定义的字符串，第一ASCII字符串包括M个分隔片段，M为大于1的整数；通过隐马尔可夫HMM模型，对第一ASCII字符串进行分词处理，得到第二ASCII字符串，其中，HMM模型为通过采用ASCII字符串训练得到，第二ASCII字符串包括N个分隔片段，N为大于M的整数。

技术领域

本申请涉及计算机技术领域，尤其涉及一种分词的方法及服务器。

背景技术

随着互联网技术的发展，分词技术作为自然语言处理领域中的一项重要的基础技术，是实现机器识别人类语言的第一步，因此，分词技术被广泛应用于文语转换、机器翻译、语音识别、文本摘要、文本检索等自然语言处理的应用分支中。

所谓分词，就是将句子切分成一个一个单独的词，是将连续的句子按照一定的规范重新组合成词序列的过程。以中文分词技术为例，中文分词技术的目标就是将一句话切分为一个一个单独的中文词语，从而使得机器能够识别人类的语言。

在现有技术中，虽然已经有较多的分词方案，但这些分词方案大都是针对中文的，然而，在一些场景下，通常还会遇到由英文串、拼音串或符号串等所组成的字符串，对于这些字符串目前并没有很好的分词方案。现有的处理方式通常是把这些字符串当作是一个单词，而不进行更细的切分，从而容易导致自然语言处理的后续步骤受到影响。

发明内容

本申请实施例提供了一种分词的方法，能够将由英文串、拼音串或符号串等所组成的字符串切分成多个片段，得到有效的分词结果，便于自然语言处理后续步骤的正常进行。

有鉴于此，本申请实施例第一方面提供一种分词的方法，包括：

获取待分词字符串，待分词字符串属于美国信息交换标准代码ASCII字符串；

通过正则表达式匹配对待分词字符串进行分词处理，得到第一ASCII字符串，其中，正则表达式包括预定义的字符串，第一ASCII字符串包括M个分隔片段，M为大于1的整数；

通过隐马尔可夫HMM模型，对第一ASCII字符串进行分词处理，得到第二ASCII字符串，其中，HMM模型为通过采用ASCII字符串训练得到，第二ASCII字符串包括N个分隔片段，N为大于M的整数。

本申请第二方面提供一种服务器，包括：

获取单元，用于获取待分词字符串，待分词字符串属于美国信息交换标准代码ASCII字符串；

处理单元，用于通过正则表达式匹配对待分词字符串进行分词处理，得到第一ASCII字符串，其中，正则表达式包括预定义的字符串，第一ASCII字符串包括M个分隔片段，M为大于1的整数；

处理单元，还用于通过隐马尔可夫HMM模型，对第一ASCII字符串进行分词处理，得到第二ASCII字符串，其中，HMM模型为通过采用ASCII字符串训练得到，第二ASCII字符串包括N个分隔片段，N为大于M的整数。

在一种可能的设计中，在本申请实施例的第二方面的第一种实现方式中，还包括训练单元；

获取单元，还用于获取第一文本信息；

处理单元，还用于对第一文本信息进行分词处理，得到待处理文本信息；

处理单元，还用于根据待处理文本信息确定目标文本信息，其中，目标文本信息包括至少一个语音元素，且每个语音元素与待处理文本信息中的字符具有对应关系，语音元素属于ASCII字符或ASCII字符串；