[发明专利]获取正极性汉字的方法和装置

说明书

技术领域

本发明涉及软件领域，特别涉及一种从文字材料中获取正极性汉字的方 法和装置。

背景技术

汉字的情感资源是自然语言处理的重要组成部分，由于汉字的数目(尤 其常用汉字)不算太多，可以考虑采用人工标注的方法来进行汉字的情感标 注。通常，人们认为形容词性汉字(美、善等)和一些动词性汉字(爱、恋 等)携带正极性。然而，对于一些看起来偏中性色彩的汉字，也可以具有隐 含的正极性，比如“海”，“天”，“飞”等汉字。常规的人工标注者很难通过 单字体会出其中的细微情感，无法达到标注要求。

现有的技术主要采用人工标注来得到正极性汉字。然而，由于汉字经历 了几千年的发展演化，一些概念差别非常细微，常规的人工标注效果无法达 到要求。比如，“跃”和“跳”的语义相似，但是“跃”蕴含正极性而“跳” 是中性概念。

发明内容

为此，需要提供一种可以快速找到正极性或者隐含正极性的汉字的技术 方案，以提供可供使用的高质量的汉字情感资源。

为实现上述目的，发明人提供了一种获取正极性汉字的方法，包括步骤：

从给定的文字材料中获取所有机构类词汇；

从获取的机构类词汇中去除公共字词；

将剩余的汉字中出现频率高者收集入正极性汉字集合。

进一步地，所述的获取正极性汉字的方法中，步骤“从获取的机构类词 汇中去除公共字词”具体包括：去除后缀或插入性公共词汇。

进一步地，所述的获取正极性汉字的方法中，步骤“从给定的文字材料 中获取所有机构类词汇”具体包括：对给定的文字材料，用词性标注工具对 其进行分词和词性标注，并根据词性标注结果获取其中的机构类词汇。

进一步地，所述的获取正极性汉字的方法中，在步骤“将剩余的汉字中 出现频率高者收集入正极性汉字集合”具体包括：统计剩余的汉字中各汉字 的出现频率并将其按从高到低排序，将出现频率位于前预设比例的汉字列入 正极性汉字集合。

发明人同时还提供了一种获取正极性汉字的装置，包括机构类词汇获取 单元、公共字词去除单元和统计单元；

所述机构类词汇获取单元用于从给定的文字材料中获取所有机构类词 汇；

所述公共字词去除单元用于从获取的机构类词汇中去除公共字词；

所述统计单元用于统计剩余的汉字中出现频率高者并将其收集入正极性 汉字集合。

进一步地，所述的获取正极性汉字的装置中，公共字词去除单元从获取 的机构类词汇中去除公共字词具体包括去除机构类词汇中的后缀或插入性公 共词汇。

进一步地，所述的获取正极性汉字的装置中，机构类词汇获取单元从给 定的文字材料中获取所有机构类词汇具体包括：对给定的文字材料，用词性 标注工具对其进行分词和词性标注，并根据词性标注结果获取其中的机构类 词汇。

进一步地，所述的获取正极性汉字的装置中，统计单元统计剩余的汉字 中出现频率高者并将其收集入正极性汉字集合具体包括：统计剩余的汉字中 各汉字的出现频率并将其按从高到低排序，将出现频率位于前预设比例的汉 字列入正极性汉字集合。

区别于现有技术，上述技术方案能够从任意给定的文字材料片段中寻找 出常规的人工标注者很难通过单字体会出其中的细微情感，无法达到标注要 求的正极性情感汉字，以作为高质量的数据资源进行进一步的利用。

附图说明

图1为本发明一实施方式所述的获取正极性汉字的方法的流程图；

图2为本发明一实施方式所述的获取正极性汉字的装置的结构示意图。

附图标记说明：

1-机构类词汇获取单元

2-公共字词去除单元

3-统计单元

具体实施方式

为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下 结合具体实施例并配合附图详予说明。

请参阅图1，为本发明一实施方式所述的获取正极性汉字的方法的流程 图；所述方法包括如下步骤：

S1、从给定的文字材料中获取所有机构类词汇；

S2、从获取的机构类词汇中去除公共字词；

S3、将剩余的汉字中出现频率高者收集入正极性汉字集合。