[发明专利]词性标注方法和装置、程序产品及存储介质

说明书

本发明提出一种词性标注方法以及装置，其中方法包括：对待标注文本进行分词，获取待标注文本的分词结果；将分词结果中的中文词语序列依次输入字向量模型以及分类模型，获取中文词语序列中词语属于各个词性的第一概率；字向量模型用于获取中文词语序列中每个字对应的向量；词性为各个领域中的类目词语；将中文词语序列输入隐马尔可夫模型，获取每个词语属于各个词性的第二概率；根据每个词语属于各个词性的第一概率和第二概率，确定中文词语序列中各个词语对应的词性，其中，结合隐马尔可夫模型考虑了词语之间的顺序关系对词语词性的影响，结合字向量模型和分类模型考虑了词语中字之间的关系对词语词性的影响，从而提高了词性标注的准确度和效率。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种词性标注方法和装置、程序产品及存储介质。

背景技术

目前，在对文本进行词性标注时，主要将文本分词得到的词语输入分类模型，例如支持向量机模型(Support Vector Machine，SVM)、随机森林模型(Random Forest)、逻辑回归模型(Logistic Regression)等，得到词语对应的词性。然而，上述词性标注方法中，涉及到的词性一般为名词、动词等词性，未涉及到特殊领域所需要的专属词性，专属词性指的是特殊领域中各个专业术语对应的类目词语，例如医疗领域中“鼻腔”、“口腔”、“脊背”、“双耳”等专业术语对应的类目词语“身体部位”；又例如“肿瘤”、“癌症”、“鼻咽癌”等专业术语对应的类目词语“疾病”；“希罗达”、“牛黄解毒丸”、“阿莫西林”等专业术语对应的类目词语“药品”等。导致上述词性标注方法，难以适用于对专属词性的标注，导致用户难以获取到与专属词性相关的文本数据，例如与肿瘤相关的文本数据等，从而降低了文本数据的使用效率，降低了用户的使用体验。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种词性标注方法，用于解决现有技术中难以对文本数据进行专属词性标注的问题。

本发明的第二个目的在于提出一种词性标注装置。

本发明的第三个目的在于提出另一种词性标注装置。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

本发明的第五个目的在于提出一种计算机程序产品。

为达上述目的，本发明第一方面实施例提出了一种词性标注方法，包括：

对待标注文本进行分词，获取所述待标注文本的分词结果，所述分词结果中包括：中文词语序列；

将所述中文词语序列依次输入字向量模型以及分类模型，获取所述中文词语序列中每个词语属于各个词性的第一概率；所述字向量模型用于获取所述中文词语序列中每个字对应的向量；所述词性为各个领域中的类目词语；

将所述中文词语序列输入隐马尔可夫模型，获取所述中文词语序列中每个词语属于各个词性的第二概率；

根据所述中文词语序列中每个词语属于各个词性的第一概率和第二概率，确定所述中文词语序列中各个词语对应的词性。

进一步的，所述将所述中文词语序列依次输入字向量模型以及分类模型，获取所述中文词语序列中每个词语属于各个词性的第一概率，包括：

获取所述中文词语序列中的各个字；

将所述各个字输入字向量模型，获取各个字对应的向量；

针对所述中文词语序列中的每个词语，根据所述词语所包括的各个字对应的向量，确定所述词语对应的向量；

将所述中文词语序列中各个词语对应的向量输入所述分类模型，获取所述词语属于各个词性的第一概率。