[发明专利]一种针对企业官网的数据清洗、整合方法及系统

摘要

本发明提出了一种针对企业官网的数据清洗、整合方法及系统，包括获取用户输入的企业名称，根据企业名称调用搜索引擎进行搜索，收集多条记录，取得返回的网址链接页面；对页面进行分析，并进行评分，并将评分最高的网页设置为企业官网，并提取出网页中没有超链接且字数排序最大的多个段落的文本进行保存；计算多个文本中重复出现的词汇频率，与提取出在给定文本中出现频率高且在语料库中出现频率低的词汇，将该词汇作为公司关键词；根据公司关键词在预设数据库中进行搜索，获取返回的搜索结果，并对该搜索结果进行趋势分析，以获取最终的企业评定数据。本发明实现对企业相关信息的初步结构化，以便于后续的分析评定。

主权项

一种针对企业官网的数据清洗、整合方法，其特征在于，包括如下步骤：步骤S1，获取用户输入的企业名称，根据所述企业名称调用搜索引擎进行搜索，收集多条记录，并取得返回的网址链接页面；步骤S2，对返回的网址链接页面进行分析，并根据该网页符合的条件对其进行评分，并将评分最高的网页设置为企业官网，并提取出网页中没有超链接且字数排序最大的多个段落的文本进行保存；步骤S3，计算所述步骤S2中的多个文本中重复出现的词汇频率，并与预先搜集的语料库的词汇进行比较，提取出在给定文本中出现频率高且在所述语料库中出现频率低的词汇，将该词汇作为公司关键词；步骤S4，根据所述公司关键词在预设数据库中进行搜索，获取返回的搜索结果，并对该搜索结果进行趋势分析，以获取最终的企业评定数据。