[发明专利]一种对论坛中有用帖子信息进行分类并整理的方法

权利要求书

1.一种对论坛中有用帖子信息进行分类并整理的方法，其特征在于，该方法包括以下步骤：

1)从指定的论坛中获得所有的帖子信息。

2)把收集来的信息同规则模板库进行匹配，将大部分无用信息过滤掉。

3)对过滤后的信息进行自动分类，确定其所属类别，并给出该信息的n个候选类别(n≥1)。

4)根据自动分类确定的类别及候选类别信息，计算得到帖子信息属于每个候选类别的置信度，按置信度大小进行排序。将排序后的信息按照前x％和后(100-x)％分成两部分(其中，x∈[0，100])，分别进行标记。

5)对排序标记后的数据，由人工先对前x％数据进行挑选，确定其类别，若从中挑选的数据达到数量要求则不用进行后(100-x)％数据的处理；若数量未达到要求，则继续对后(100-x)％进行处理。

6)最后将由人工处理后的数据进行发布。

2.根据权利要求1所述获取论坛中帖子信息的方法，其特征是：根据指定的论坛，获得该论坛下的所有帖子信息，并将所采集来的信息进行保存。

3.根据权利要求2所述的信息保存单元，用于保存帖子标题信息、内容信息、网页地址等相关信息。

4.根据权利要求1所述的利用规则模板过滤的方法，其特征在于，该方法对信息进行过滤的步骤包括：

1)读取保存在数据库中的原始帖子信息。

2)将模板库中的模板与读取的信息进行匹配。

3)如该信息匹配上某一模板，则该信息属于此类别，对该信息进行保留，并传递给下一处理步骤。

4)若没有匹配上任何模板，则该信息属于无用信息，不予保留。

5.根据权利要求1所述的自动分类方法，其特征是：可利用机器学习方法、规则方法或者机器学习与规则方法相结合的自动分类模型，根据指定论坛的训练语料进行训练或制定相应规则，给出帖子信息的n个候选类别。

6.根据权利要求1所述的排序方法，其特征是，所述系统进一步包括：置信度计算单元，用于计算帖子信息属于某一类别的置信度。根据自动分类的结果，计算这条信息分到n个候选类别的概率，即计算出到每个类别的距离均值和均方差，代入特定的公式得到该帖子属于每个类别的置信度。

排序单元，用于处理计算得到置信度后的信息，将这些信息按照置信度的大小进行排序。

标记单元，用于将排序后的数据按照x％和(100-x)％分为两部分，并对前x％的数据和后(100-x)％的数据标以不同的标记，使系统可以自动进行区分。

7.根据权利要求1所述的人工挑选方法，其特征在于：由情报人员使用专门的挑选工具，对已拥有候选类别信息和排序信息的帖子进行人工确认其类别。经过权利要求4、权利要求5和权利要求6的步骤，人工挑选可以根据数量要求只挑选前x％的数据，如结果数量已满足要求，则不对后(100-x)％的数据进行挑选，从而节省(100-x)％的工作量；如结果数量不满足要求，则继续对后(100-x)％的数据进行挑选。

8.根据权利要求7中所述的人工确定帖子信息类别的步骤，其特征在于：由权利要求5和权利要求6产生的已排序的n个候选类别，可以根据需要在挑选工具中给出置信度较大的前m个(其中，0＜m≤n)候选项，避免情报人员在自动分类错误时每次都要从总类别列表中挑选正确类别，从而提高效率。

9.根据权利要求1所述的发布单元，用来将最终处理完的信息发布到特定的页面或保存为特定的格式。