[发明专利]一种中文分词方法及装置

摘要

本发明实施例公开了一种中文分词方法及装置。该方法包括：将文本集切分为多个短句，并为多个短句编号；对于文本集中的每个中文字符，获取当前中文字符对应的第一短句编号列表，获取与当前中文字符右相邻的邻接中文字符对应的第二短句编号列表，根据第一短句编号列表和第二短句编号列表计算共现度；获取当前中文字符对应的邻接字符集，根据邻接字符集计算邻接相关度；根据共现度和邻接相关度确定是否将当前中文字符和邻接中文字符组成的词语加入候选词集；根据候选词集对所述文本集进行分词。该方法在确定候选词集时计算量小，准确度高，可有效提升分词结果的准确度以及提高分词效率，且该方法不依赖语料词典，可实现无监督的候选词汇提取。

主权项

1.一种中文分词方法，其特征在于，包括：将文本集切分为多个短句，并为所述多个短句编号，其中，所述文本集包含至少一个文本；对于所述文本集中的每个中文字符，获取当前中文字符对应的第一短句编号列表，获取与所述当前中文字符右相邻的邻接中文字符对应的第二短句编号列表，根据所述第一短句编号列表和所述第二短句编号列表计算所述当前中文字符和所述邻接中文字符的共现度；获取所述当前中文字符对应的邻接字符集，根据所述邻接字符集计算所述当前中文字符和所述邻接中文字符的邻接相关度；根据所述共现度和所述邻接相关度确定是否将所述当前中文字符和所述邻接中文字符组成的词语加入候选词集；其中，所述第一短句编号列表是包含所述当前中文字符的短句对应的短句编号的列表；所述第二短句编号列表是包含所述邻接中文字符的短句对应的短句编号的列表；所述邻接字符集是在所述多个短句中与所述当前中文字符右相邻出现的所有中文字符的集合；根据所述候选词集对所述文本集进行分词。