[发明专利]用于实现中文分词与词性标注的方法、介质及电子设备

说明书

本申请实施例提供一种用于实现中文分词与词性标注的方法、介质及电子设备，所述方法包括：接收来自于客户端的分词及词性标注请求，其中，所述分词及词性标注请求至少用于携带待分词的文本和用户的配置信息；至少根据所述配置信息以及目标分词及词性标注模型对所述待分词的文本进行处理，得到分词及词性标注结果；向所述客户端提供所述分词及词性标注结果。本申请的实施例可以实现在高精度的分词及词性标注的前提下，更便于用户灵活配置，提供适应不同场景、满足不同需求的中文分词与词性标注结果，提升用户体验。

技术领域

本申请涉及自然语言处理领域，具体而言本申请实施例涉及用于实现中文分词与词性标注的方法、介质及电子设备。

背景技术

分词是将连续的自然语言文本，切分成具有语义合理性和完整性的词汇序列的过程。词性标注是指为自然语言文本中的每个词汇赋予一个词性的过程。分词与词性标注是自然语言处理中句法解析、语义分析、信息检索等其他任务的基础，分词与词性标注的效果对后续任务的结果有明显的影响。

基于词表与统计的方法，是中文分词与词性标注常使用的实现方法。但中文的语义较为复杂，同一个词语可能会存在着不同的语义，也就存在着不同的词性；另外，在不同的语境下，相同的文本序列会出现不同的分词结果。所以词表的使用有很多语义上的限制。开源的中文分词与词性标注训练数据领域较为单一，常见的是单一的新闻领域数据，并且数据标注缺少严格的语义一致性、规范统一性。

目前有很多针对应用工程的分词工具，使用方式固定，应用场景范围窄，缺少灵活的可配置性，需要用户有一定的开发能力。

发明内容

本申请实施例的目的在于提供一种用于实现中文分词与词性标注的方法、介质及电子设备，本申请的实施例可以实现在高精度的分词及词性标注的前提下，更便于用户灵活配置，提供适应不同场景、满足不同需求的中文分词与词性标注结果，提升用户体验。

第一方面，本申请实施例提供一种用于实现中文分词与词性标注的方法，应用于云端，所述方法包括：接收来自于客户端的分词及词性标注请求，其中，所述分词及词性标注请求至少用于携带待分词的文本和用户的配置信息；至少根据所述配置信息以及目标分词及词性标注模型对所述待分词的文本进行处理，得到分词及词性标注结果，其中，所述目标分词及词性标注模型具备同时挖掘分词结果和词性标注结果的功能；向所述客户端提供所述分词及词性标注结果。

本申请的一些实施例通过客户端与云端协作的方式来完成针对待分词的文本的分词以及词性标注操作，充分利用双方优势，即客户端对场景更加了解，云端计算存储能力更强大进而提升对待分词的文本的分词及词性标注结果的准确性。

在一些实施例中，所述配置信息的类型包括：与所述待分词的文本对应的领域、是否添加自定义词表、是否使用实体增强词性以及分词粒度中的至少一个。

本申请的一些实施例中通过客户端用户输入的配置信息，得到与待分词的文本对应的领域、用户自定义词表以及分词处理的粒度等配置信息，进而可以使得云端根据这些配置信息更好的完成对待分词的文本的分词以及词性标注的操作。

在一些实施例中，在所述至少根据所述配置信息以及目标分词及词性标注模型对所述待分词的文本进行处理之前，所述方法还包括：解析所述配置信息得到与所述待分词的文本对应的目标领域以及自定义词表；从多领域知识词表中选择属于所述目标领域的词表，得到目标词表，其中，所述多领域知识词表是基于知识图谱抽取多领域的专业知识词表得到的，所述知识图谱部署在所述云端；所述至少根据所述配置信息以及目标分词及词性标注模型对所述待分词的文本进行处理，包括：根据所述目标词表、所述自定义词表以及所述目标分词及词性标注模型对所述待分词的文本进行处理，得到分词及词性标注结果。

本申请的一些实施例的云端通过解析客户端输入的配置信息，得到专业领域词表以及自定义词表进而完成对待分词的文本的分词及词性标注。