[发明专利]一种基于启发式算法的模糊英文长句分词方法

权利要求书

1.一种基于启发式算法的模糊英文长句分词方法，其特征在于，该方法包括以下步骤：

1)对待分词的英文长句进行编码，编码后的文本作为启发式算法的输入；

2)通过启发式算法对编码后的文本进行迭代计算，获得使得评价函数值达到最优的解；

3)对所述步骤2)中启发式算法得出的解，恢复出新分词结果后的英文长句，并对恢复出的英文长句进行可阅读性计算。

2.如权利要求1所述的基于启发式算法的模糊英文长句分词方法，其特征在于，所述步骤1)中的对待分词的英文长句进行编码的具体方式为：采用对每个单词字符进行01编码的方式进行问题的抽象，‘0’表示该句子在当前位置没有进行分词，‘1’表示该句子在当前位置进行分词，通过这样的方法将原英文长句编码为01文本。

3.如权利要求1所述的基于启发式算法的模糊英文长句分词方法，其特征在于，所述步骤2)中的启发式算法采用模拟退火算法。

4.如权利要求3所述的基于启发式算法的模糊英文长句分词方法，其特征在于，所述模拟退火算法包括以下步骤：

(1)解空间的搜索：使用模拟退火算法的非确定性搜索，随机扰动‘0’和‘1’，即以随机的概率将‘0’变为‘1’或者将‘1’变为‘0’，这种扰动是与当前的温度成正比，每次迭代的过程中，随着温度的降低，扰动的边界会逐渐缩小；

(2)评价函数的设计：用分词结果的分词得分和分块得分的和作为评价函数，所述分词得分是指对分词结果中每个唯一的词算分的结果；所述分块得分是指每个分块中包含单词的数量；

(3)接受准则：若当前解小于原始解则接受当前解并进入下一次的迭代；若当前解大于原始解则以的概率接受当前解，T表示这次迭代的温度；

(4)退火方式：用作为收敛函数，其中T₀表示初始温度，t表示当前温度。

5.如权利要求1、2、3、4或5中所述的基于启发式算法的模糊英文长句分词方法，其特征在于，所述步骤(3)中按照下式计算对恢复出的英文长句的可阅读性进行计算：

$readability=\frac{1}{{\mathrm{\Σ}}_1^{block\_num}-word\_num}\×{\mathrm{\Σ}}_{i=1}^{block\_num}block\_value---\left(1\right)$

其中readability为恢复出的英文长句的可阅读性，block_num表示分块的数量，即改英文长句分成多少个单词，word_num表示该英文长句中按完全正确的方式进行分词包含的单词数量，block_value表示每一分块的可阅读性，其计算公式为；

${\mathrm{block}}_{value}=\left\{\begin{array}{cc}\left(\right(\mathrm{\λ}\·{\mathrm{incorrect}}_{num}+1)\·{\left({\mathrm{word}}_{num}+1\right)}^2),& if{\mathrm{word}}_{num}\>1\\ 0,& others\end{array}\right.---\left(2\right)$

其中，incorrect_num表示错误字符的数量，即这一个分块中不正确的字母的数量。