[发明专利]一种基于隐马尔科夫模型的智能分词方法

摘要

本发明涉及一种基于隐马尔科夫模型的智能分词方法，该方法包括以下步骤：⑴建立隐马尔可夫模型参数；⑵确定文章中的状态集Θ；⑶在确定了N，M，L之后，将简记为；⑷运用计算机语言，先采用机械分词法对大量的文章进行分词；然后用计算机对其状态进行标注，进而形成初始的π矩阵、A矩阵、B₁矩阵、B₂矩阵；⑸对形成的初始A矩阵和B₁矩阵及B₂矩阵采用BW算法进行文章训练，并按BW算法重估公式进行重估，得到新的π矩阵、A矩阵和B₁、B₂矩阵；⑹运用新的隐马尔可夫模型的参数、采用维特比算法进行中文分词，根据标点符号把文章分为多个句子，对每一个句子进行中文分词，即得分词后的文章。本发明可对大量中文文本进行准确而高效分词。

主权项

一种基于隐马尔科夫模型的智能分词方法，包括以下步骤：⑴建立隐马尔可夫模型参数，其中N为模型中马尔科夫链的状态数目；记n个状态为θ₁，…，θ_n，记t时刻马尔科夫链所处的状态为，且（，…，）；M为每个状态对应的可能的单个汉字的观察值数目；记m个观察值为V₁，…，V_M，记t时刻观察到的观察值，其中，（V₁，…，V_M）；L为每个状态对应的可能的多个汉字的观察值数目；记l个扩展观察值，……，，记t时刻观察到的观察值，其中（，……，）；π表示序列开始时选取某个状态的概率，π=（π₁，…，π_n），式中，1 ≤ і ≤ N；A表示在当前状态下选取下一个状态的转移概率矩阵，（）_N×N，式中，1 ≤≤ N；B₁表示第j个状态中观察值k出现的概率矩阵，_N×M，式中,1 ≤≤ N，1 ≤≤ M；B₂表示第j个状态中观察值s和观察值k连续出现的概率矩阵，即扩展型观察值概率矩阵， _N×L，式中，1 ≤≤ N，1 ≤≤ L；⑵确定文章中的状态集Θ：结合汉语的语言规律，将汉语单字状态集选为字首H、字中Z、字尾E、独字S四个状态；⑶在确定了N，M，L之后，将简记为；⑷运用计算机语言，先采用机械分词法对大量的文章进行分词；然后用计算机对其状态进行标注，进而统计每一个字在该状态上出现的概率，形成初始的π矩阵、A矩阵、B₁矩阵、B₂矩阵；⑸对形成的所述初始A矩阵和所述初始的B₁矩阵及所述初始的B₂矩阵采用BW算法进行文章训练，文章观察值序列称为O，扩展型观察值序列称为EO，得到每一个期望值，以及序列在此参数下出现的条件概率，并对每个观察元素的观察值概率按BW算法重估公式进行重估，算出新的隐马尔可夫模型的参数及；并使收敛到一个最大值，从而得到新的π矩阵、A矩阵和B₁、B₂矩阵；其中：；；⑹运用新的隐马尔可夫模型的参数、采用维特比算法进行中文分词，根据标点符号把文章分为多个句子，对每一个句子进行中文分词，即得分词后的文章。