[发明专利]基于房地产行业的词库构建方法及系统

说明书

本发明提供的基于房地产行业的词库构建方法及系统，该方法包括以下步骤：采用网络爬虫技术从网络媒体抓取媒体信息，得到原始数据；采用文本处理技术对原始数据进行去噪、解析和分词，得到文本数据；采用数据挖掘技术分析文本数据的属性，得到清洗数据；对清洗数据进行筛选，得到关键词数据库。该方法从网络媒体抓取各种媒体信息，作为数据库的来源，数据库来源广，使得构建形成的关键词数据库更加全面，对抓取的数据进行文本处理和挖掘处理，得到的关键词数据库更加精准，为房地产市场的预期提供支撑，使得房地产市场的预期指数更加全面、准确。

技术领域

本发明涉及大数据技术领域，特别涉及基于房地产行业的词库构建方法及系统。

背景技术

研究社会公众对房地产市场的预期的测度、形成及其对房地产市场的作用机理，有助于深入认识房地产市场的波动规律。为此申请人提供了一种房地产公众预期指数大数据系统，能够实时反映不同媒介、机构、群体对于房地产市场的预期差异及变化。但是在实现上述系统的同时，申请人还需要考虑如何建立词库，为房地产市场的预期提供支撑，使得房地产市场的预期指数更加全面、准确。

发明内容

针对现有技术中的缺陷，本发明提供基于房地产行业的词库构建方法及系统，为房地产市场的预期提供支撑，使得房地产市场的预期指数更加全面、准确。

第一方面，一种基于房地产行业的词库构建方法，包括以下步骤：

采用网络爬虫技术从网络媒体抓取媒体信息，得到原始数据；

采用文本处理技术对原始数据进行去噪、解析和分词，得到文本数据；

采用数据挖掘技术分析文本数据的属性，得到清洗数据；

对清洗数据进行筛选，得到关键词数据库。

进一步地，所述对清洗数据进行筛选，得到关键词数据库具体包括：

针对不同地区设置影响因素，根据不同地区的影响因素对所述清洗数据进行筛选，得到初始数据；

根据地区下属的管辖区域对初始数据进行扩充，得到扩充数据；

定义扩充数据中的核心词条，针对核心词条在扩充数据中补充长尾关键词和短尾关键词，组合所述初始数据、扩充数据、长尾关键词和短尾关键词，以得到所述关键词数据库。

进一步地，所述组合所述初始数据、扩充数据、长尾关键词和短尾关键词，以得到所述关键词数据库具体包括：

对所述初始数据、扩充数据、长尾关键词和短尾关键词进行修正，得到修正数据；

根据修正数据得到所述关键词数据库。

进一步地，该方法在对清洗数据进行筛选，得到关键词数据库之后，还包括：

确定所述关键词数据库中每个数据的文档特征；

基于所述文档特征进行情感分析，得到舆情数据库。

进一步地，所述基于所述文档特征进行情感分析，得到舆情数据库具体包括：

设置情绪词典，情绪词典中包含多种情绪信息；

利用情绪词典、所述文档特征对所述关键词数据库的数据进行分类，将关键词数据库的数据归类到对应的情绪信息下，得到舆情数据库。

进一步地，所述原始数据包括微博数据、网页数据、论坛数据以及贴吧数据。

进一步地，所述微博数据包括媒体层面数据、企业层面数据、政府层面数据、研究机构数据以及个人层面数据。

第二方面，一种基于房地产行业的词库构建系统，包括抓取单元、处理单元、挖掘单元和筛选单元：