[发明专利]一种使用非结构化数据进行风险评估的方法

说明书

本发明涉及一种使用非结构化数据进行风险评估的方法，属于人工智能领域。本发明利用互联网新闻数据、评论数据对企业合作风险进行评估，避免了只审查企业资质与实施能力，忽视企业风评等信息所带来的风险；利用互联网数据的实时性对企业合作风险进行评估，避免了因信息陈旧带来的企业合作风险。与现有技术相比，本发明提出的技术方案采用非结构化数据对企业合作关系进行风险评估。在这种方法中，我们对互联网上与待评估企业相关的新闻数据、评论数据、判决文书数据进行了采集，并综合进行企业风险评估评分。这种方法有效的补充了企业合作之前应该关注的信息，同时保证了待评估企业信息的实时性。

技术领域

本发明属于人工智能领域，具体涉及一种使用非结构化数据进行风险评估的方法。

背景技术

在企业之间进行合作时，通常需要对合作方企业进行风险评估，以确认该合作是否会带来经济风险。当前对合作企业进行风险评估的方法，除了人工审查的方式外，主要基于结构化数据对合作方进行风险评估。

使用结构化数据进行风险预警的方法通常由以下步骤组成：

数据整合清洗。对各个不同来源的结构化数据进行整合，并根据数据质量情况对数据进行必要的清洗转换。

特征选择。根据业务知识选择对风险预警效果有益的特征数据项。

算法选择。根据标注数据量及特征复杂程度，选择适用的机器学习或深度学习算法。

模型训练。将标注数据集进行划分后，输入模型进行调参训练，并根据评估效果迭代进行数据清洗、特征选择、算法选择和模型训练的工作。

模型部署。将训练完成的模型部署为在线服务，提供风险预警服务能力。

将需要进行风险评估的企业信息输入风险预警服务，对有风险的企业采取风险防控措施。

当前企业的风险信息可能会存在于新闻、司法判决书等非结构化文本中，例如某企业发生重大事件，在互联网上舆论负面信息较多，与该企业继续合作可能会带来企业经济上的损失。基于结构化数据进行金融风险预警的方法的数据来源通常由相关企业提供的资质等信息组成，数据来源范围较局限，数据实时性较差，缺乏上述非结构化数据带来的信息，待评估企业的信息不全面，因而很难准确的评估企业合作风险，在风险预警上存在缺陷。

发明内容

(一)要解决的技术问题

本发明要解决的技术问题是如何提供一种使用非结构化数据进行风险评估的方法，以解决基于结构化数据进行金融风险预警的方法数据来源范围较局限，数据实时性较差，缺乏上述非结构化数据带来的信息，待评估企业的信息不全面，因而很难准确的评估企业合作风险，在风险预警上存在缺陷的问题。

(二)技术方案

为了解决上述技术问题，本发明提出一种使用非结构化数据进行风险评估的方法，该方法包括如下步骤：

S1、数据采集

首先选择采集数据源，其次，在采集过程中，利用scrapy技术从网络上采集数据，使用待评估企业名称和常用别名对信息进行过滤，然后，选择包含待评估企业的相关信息进行逐条采集，包括新闻标题/正文、判决文书和评论信息；最后将采集的数据存储到mysql数据库中；

S2、数据清洗

经过采集得到的互联网数据含有大量特殊字符和噪声信息，需要对数据信息进行清洗；

S3、主题分类

根据会对企业合作造成影响的各类事项，总结出评价主题类别，建立相关标签体系，并对数据进行分类；

S4、情感分析

对经过主题分类后的数据进行正负面的情感倾向分析；