[发明专利]为选定上下文构造词典

摘要

本文提出了与构造针对限定上下文的词典有关的各种技术。社交媒体文本被获取，其中所述社交媒体文本具有与其对应的上下文数据。社交媒体文本被编码以形成编码文本(Unicode格式)，并且上下文数据被指派给该编码文本。通过基于诸如位置之类的上下文数据对编码文本进行过滤来形成针对限定上下文的文本语料库。单词或短语在文本语料库中出现的频率被用于标识要被包括在词典中的单词或短语。

主权项

1.一种计算系统，包括：处理器；以及存储器，所述存储器包括由所述处理器执行的词典生成器系统，所述词典生成器系统被配置成生成用于上下文文本的词典，所述词典生成器系统被配置成基于混合语言单词或混合语言短语在所述上下文文本中出现的频率将混合语言单词或者混合语言短语中的至少一个包括在所述词典中，其中所述词典生成器系统进一步包括：被配置成对所述上下文文本中的编码词目执行多次扫描以形成复合词的扫描器组件，其中所述词典生成器系统被配置成基于所述复合词来生成所述词典，并且其中每次扫描具有被指派给其的预定值，所述预定值定义了要被包括在每次扫描的每个复合词中的单词的数量。