[发明专利]一种基于启发式算法的模糊英文长句分词方法

说明书

技术领域

本发明涉及一种涉及人工智能和自然语言处理的分词技术，尤其是一种基于启发式算法的模糊英文长句分词方法。

背景技术

在当今的信息社会中，人工智能和自然语言处理相关的研究和技术飞速发展，应用的范围也越来越广，本发明是考虑到一些特定的场景，例如，一般会议的记录都是人工记录，同时辅助以录音进行整理，对于会议报道和记录人员来说就不得不将大量的时间花费在整理会议相关发言上。如果采用更加智能的方法来代替人工，对会议发言进行整理，就需要让机器能够识别出一段口语中是如何进行分词的。

自然语言处理中，分词主要面向的是类似汉语这样的象形文字，这些文字在组成句子时没有语法上的分割；对于类似于英语这样的拼音文字，通常不存在分词的问题。但是一旦遇到上述问题，往往解决的方法比较少。

发明内容

技术问题：本发明提供一种应对英文文本单词之间间隙不清或者难以识别的情况，减少了整理和编写语料库的复杂工作的基于启发式算法的模糊英文长句分词方法。

技术方案：本发明的基于启发式算法的模糊英文长句分词方法，在某些特定的情况下，英文长句词与词之间的间隙不明显，需要进行长句分词，减少阅读的障碍。模糊英文长句分词方法是典型的NP-hard问题，适用于采用启发式算法来进行分词操作。使用启发式算法进行模糊英文长句分词之后，可阅读性得到显著提高。

所述的基于启发式算法的模糊英文长句分词方法，所述的英文长句词与词之间的间隙不明显的特定情况包括：通过机器识别声音时，只能根据声音的停顿来区分单词，对于连词无法进行分词。

本发明的基于启发式算法的模糊英文长句分词方法，包括以下步骤：

1)对待分词的英文长句进行编码，编码后的文本作为启发式算法的输入；

2)通过启发式算法对编码后的文本进行迭代计算，获得使得评价函数值达到最优的解；

3)对所述步骤2)中启发式算法得出的解，恢复出新分词结果后的英文长句，并对恢复出的英文长句进行可阅读性计算。

进一步的，本发明方法中，步骤1)中的对待分词的英文长句进行编码的具体方式为：采用对每个单词字符进行01编码的方式进行问题的抽象，‘0’表示该句子在当前位置没有进行分词，‘1’表示该句子在当前位置进行分词，通过这样的方法将原英文长句编码为01文本。

进一步的，本发明方法中，步骤2)中的启发式算法采用模拟退火算法。

进一步的，本发明方法中，模拟退火算法包括以下步骤：

(1)解空间的搜索：使用模拟退火算法的非确定性搜索，随机扰动‘0’和‘1’，即以随机的概率将‘0’变为‘1’或者将‘1’变为‘0’，这种扰动是与当前的温度成正比，每次迭代的过程中，随着温度的降低，扰动的边界会逐渐缩小；

(2)评价函数的设计：用分词结果的分词得分和分块得分的和作为评价函数，所述分词得分是指对分词结果中每个唯一的词算分的结果；所述分块得分是指每个分块中包含单词的数量；

(3)接受准则：若当前解小于原始解，则接受当前解并进入下一次的迭代；若当前解大于原始解则以的概率接受当前解，T表示这次迭代的温度；

(4)退火方式：用作为收敛函数，其中T₀表示初始温度，t表示当前温度。

本发明方法对恢复后的英文长句进行可阅读性计算，通过每个分块中包含单词数量与错误单词数量的加权和来进行衡量，以判断经过启发式算法之后的分词结果与完全正确的分词结果之间的吻合程度。引入可阅读性计算的目的是判断，经过启发式算法分词得出的结果与完全正确的分词结果之间的吻合度。非人工的分词方法目前还不能达到完全正确的结果。通过可阅读性计算，可以判断某一分词方式与完全正确的分词结果之间的相似程度，以判断这一分词方法的好坏程度。

进一步的，本发明方法中，步骤3)中按照下式计算对恢复出的英文长句的可阅读性进行计算：

其中readability为恢复出的英文长句的可阅读性，block_num表示分块的数量，即改英文长句分成多少个单词，word_num表示该英文长句中按完全正确的方式进行分词包含的单词数量，block_value表示每一分块的可阅读性，其计算公式为；

其中，incorrect_num表示错误字符的数量，即这一个分块中不正确的字母的数量。

有益效果：本发明与现有技术相比，具有以下优点：