[发明专利]一种短信文本分类方法及系统

摘要

本发明公开了一种短信文本分类方法及系统，包括预先将短信分类过程划分为不同的任务，并将不同的任务分配到流式计算系统的工作节点的不同端口上；提取待分类短信文本的关键词并确定需要更新的类库，对需要更新的类库进行更新，同时计算待分类短信文本的特征向量；根据计算得到的特征向量获取待分类短信文本与不同类库成员的特征向量之间的相似度，并按照获得的相似度确定待分类短信文本的类别。从本发明短信文本分类方案可见，在对短信息文本进行特征预处理后，对类库的更新和对特征向量的计算是利用流式计算系统分别通过工作节点的不同任务端口来并行处理，大大提高了短信文本处理的响应速度，从而提高了对垃圾短信过滤的速度和精确度。

主权项

一种短信文本分类方法，其特征在于，预先将短信分类过程划分为不同的任务，并将不同的任务分配到流式计算系统的工作节点的不同端口上；其中，不同的任务包括用于对待分类的短信文本进行特征词提取的特征预处理过程、用于对存储的类库进行更新的类库处理过程、用于计算待分类短信文本的特征向量的特征向量计算过程、以及用于对待分类短信文本进行分类的文本分类过程；还包括：特征预处理过程提取待分类短信文本的关键词并确定需要更新的类库，类库处理过程对需要更新的类库进行更新，同时特征向量计算过程计算待分类短信文本的特征向量；文本分类过程根据计算得到的特征向量获取待分类短信文本与不同类库成员的特征向量之间的相似度，并按照获得的相似度确定待分类短信文本的类别；其中，对需要更新的类库进行更新，具体包括：将在存储关键词Terms与所有短信文本中出现关键词文本数Dw之间的对应关系的Terms‑Dw映射表中查询到的所有关键词分别对应的关键词文本数加一。