[发明专利]用于从网络数据中生成词汇的系统和方法

权利要求书

1.一种用于从网络数据生成词汇的方法，包括：

接收在网络环境中传播的数据；

将所述数据分离为一个或者多个字段；

评估所述字段的至少一些字段以便识别在所述字段中的名词和名词短 语；

基于白名单和黑名单识别所述名词和名词短语中被选择的词，其中所 述白名单包括要被加标记的多个指定的词，并且所述黑名单包括将不被加 标记的多个拒绝的词；

如果所述数据包括所述黑名单中的词，则丢弃所述数据；

生成被加标记的选择的名词和名词短语的合成物；以及

如果所述合成物被准许，则将所述合成物加入到所述白名单中。

2.依据权利要求1所述的方法，其中，所述字段包括题目字段、概念 字段、文本字段、以及作者字段。

3.依据权利要求2所述的方法，还包括：

将与所述数据相关联的文档分离为第一段和第二段，所述第一段包括 所述概念字段，所述第二段包括除了所述概念字段之外的字段。

4.依据权利要求1所述的方法，还包括：

基于被配置的在所述数据中识别的停止单词的列表，移除所述数据中 的一个或者多个词。

5.依据权利要求1所述的方法，还包括：

基于与多个终端用户相关联的数据集合，建议将词包括在所述白名单 或者所述黑名单中。

6.依据权利要求1所述的方法，还包括：

识别所述数据中的主题范围；以及

向管理实体提供所述主题范围用于包括在所述合成物中。

7.依据权利要求1所述的方法，还包括：

基于与所述数据相关联的文档类型过滤所述数据。

8.一种用于从网络数据生成词汇的设备，包括：

用于接收在网络环境中传播的数据的装置；

用于将所述数据分离为一个或者多个字段的装置；

用于评估所述字段的至少一些字段以便识别在所述字段中的名词和名 词短语的装置；

用于基于白名单和黑名单识别所述名词和名词短语中被选择的词的装 置，其中所述白名单包括要被加标记的多个指定的词，并且所述黑名单包 括将不被加标记的多个拒绝的词；

用于如果所述数据包括所述黑名单中的词，则丢弃所述数据的装置；

用于生成被加标记的选择的名词和名词短语的合成物的装置；以及

用于如果所述合成物被准许，则将所述合成物加入到所述白名单中的 装置。

9.依据权利要求8所述的设备，其中，所述字段包括题目字段、概念 字段、文本字段、以及作者字段。

10.依据权利要求9所述的设备，还包括：

用于将与所述数据相关联的文档分离为第一段和第二段的装置，所述 第一段包括所述概念字段，所述第二段包括除了所述概念字段之外的字 段。

11.依据权利要求8所述的设备，还包括：

用于基于被配置的在所述数据中识别的停止单词的列表，移除所述数 据中的一个或者多个词的装置。

12.依据权利要求8所述的设备，还包括：

用于基于与多个终端用户相关联的数据集合，建议将词包括在所述白 名单或者所述黑名单中的装置。

13.依据权利要求8所述的设备，还包括：

用于识别所述数据中的主题范围的装置；以及

用于向管理实体提供所述主题范围用于包括在所述合成物中的装置。

14.依据权利要求8所述的设备，还包括：

用于基于与所述数据相关联的文档类型过滤所述数据的装置。