[发明专利]一种从工单中提取新词的方法和装置

摘要

本发明公开了一种从工单中提取新词的方法和装置。所述方法包括：获取根据项目的历史工单生成的词频库；对待处理的工单进行分词得到分词词语；对分词词语顺序地两两相邻地进行二元合并得到候选词语，并从词频库中获得每个候选词语的词频；根据候选词语的词频依次对分词结果中的每三个相邻分词词语进行合并判断并处理，获得合并结果，从合并结果中提取合并词语作为本次工单的新词。本发明结合通用分词原理和词频统计的分词原理对待处理工单进行新词提取，通过识别通用分词方式未识别到的词语，扩大新词提取的选择范围，并提高新词提取的准确性。

主权项

1.一种从工单中提取新词的方法，其特征在于，所述方法包括：/n获取根据项目的历史工单生成的词频库；/n对待处理的工单进行分词得到分词词语；/n对所述分词词语顺序地两两相邻地进行二元合并得到候选词语，并从所述词频库中获得每个候选词语的词频；/n根据所述候选词语的词频依次对分词结果中的每三个相邻分词词语进行合并判断并处理，获得合并结果，并从所述合并结果中提取合并词语作为本次工单的新词；/n所述根据所述候选词语的词频依次对分词结果中的每三个相邻分词词语进行合并判断并处理，包括：/n根据所述候选词语的词频依次对分词结果中的每三个相邻分词词语按照预定合并规则进行判断并处理，其中所述预定合并规则包括第一合并规则、第二合并规则和第三合并规则；/n当所述每三个相邻分词词语对应的两个候选词语符合第一合并规则时，对所述三个相邻分词按照第一合并规则处理，不对所述三个相邻分词词语按照第二合并规则和/或第三合并规则处理；当所述每三个相邻分词词语对应的两个候选词语不符合第一合并规则时，则判断是否符合第二合并规则，当符合第二合并规则时，对所述三个相邻分词按照第二合并规则处理，不对所述三个相邻分词词语按照第三合并规则处理；当所述每三个相邻分词词语对应的两个候选词语不符合第一合并规则同时也不符合第二合并规则时，则判断是否符合第三合并规则，当符合第三合并规则时，对所述三个相邻分词按照第三合并规则处理；/n其中，所述第一合并规则为：若两个候选词语的词频均大于设定的词频阈值，且所述两个候选词语的词频差值的绝对值小于所述两个候选词语中任一个候选词语的词频与预定因子的乘积，则设置前一词语位和中间词语位为空，并用所述两个候选词语的合并词语更新后一词语位的词语，其中预定因子大于0且小于1；/n所述第二合并规则为：若前一候选词语的词频大于后一候选词语的词频，则用前一词语位存储的分词词语与中间词语位存储的分词词语的合并词语更新前一词语位的词语，并设置中间词语位为空，不更新后一词语位的词语；/n所述第三合并规则为：若前一候选词语的词频小于后一候选词语的词频，则用中间词语位存储的分词词语和后一词语位存储的分词词语的合并词语更新后一词语位的词语，并设置中间词语位为空，不更新前一词语位的词语；/n其中，前一词语位、中间词语位和后一词语位分别用于存储所述两个候选词语二元合并前的三个相邻分词词语。/n