大数据在商业银行的技术实现和应用

金融视线

大数据在商业银行的技术实现和应用

2020-02-13 21:51 来源：www.xdsyzzs.com 发布：现代商业阅读：次

范佩朕徐冰雪赵钟伟中国银行浙江省分行信息科技部

摘要：随着互联网金融的发展，人类正在步入大数据时代，在这种新的形势下，商业银行如何因时而变，如何深入分析挖掘数据的内在价值，转变传统的经营发展模式，打造数据核心竞争力，不断推进金融大数据的建设，是摆在商业银行面前的一个重大而紧迫的课题。文章基于当前商业银行在大数据背景下所面临的机遇和挑战，介绍了在数据存储和管理，数据分析和挖掘，数据融合和处理等大数据技术的实现和应用，通过MPP分布式大数据平台实现数据集中存储管理；通过数据整合构建多个领域数据集市；采用决策树、神经网络机器学习等方法建立数据模型，实现智能预测、风险管控、精准管理。

关键词：互联网；大数据；机器学习；数据挖掘

一、大数据在商业银行的技术实现

商业银行的数据主要来源于金融交易、客户信息和业务记录，数据体量大，增长速度快，数据量已经从TB级跃升至PB级。同时，金融数据种类繁多，来源于银行内部的各种业务系统，涉及核心、信贷、反洗钱、理财、基金、信用卡等业务数据，数据结构不统一。如何从种类繁多的海量金融数据中分析挖掘出有价值的信息，需要运用以下关键技术来实现。

（一）数据存储与管理技术

大数据需采用先进的分布式存储及加工技术，缩短数据采集、导入、加工的时间，从而使海量数据处理成为可能，解决原来在传统架构上只能采用少量数据进行采样分析的弱点，可直接对TB级别的金融数据进行全方位的分析；银行业对于数据的安全性、稳定性要求更高，需要运用更为先进的技术对数据进行高效管理，如通过DAS、NAS和SAN等存储方式保证数据的安全和可靠。

（二）数据整合、处理和展现技术

运用新型的数据处理技术（包括分布式计算、流处理等）提高数据转换、清洗、集成效率，构建统一的数据应用平台，利用大数据技术将数据可视化，是提升数据服务金融业的具体体现，在银行客户全方位视图、金融产品监控、反洗钱检测方面拥有突出的应用前景。

（三）数据分析和挖掘技术

运用决策树、神经网络、聚类分析、降维分析等机器学习算法对海量的金融数据进行深度挖掘和分析，从海量客户信息、金融产品信息、金融交易信息中发现潜在的有价值信息。管理人员可以基于算法的预测结果进行精准营销和风险防控，使银行的业务向更好的方向发展。

二、大数据布局和功能

（一）大数据建设整体技术架构

通过整合核心系统、理财系统、基金系统等多个系统的基础数据，经过MPP大数据平台的加工处理提取出高价值应用数据模型，从需求和实际应用出发，根据不同的应用主题，进一步设计不同的数据应用平台，分期推进建立个人、公司、风险、支付清算、财务、渠运六大数据应用平台，实现客户透视、风险防控、财务管理、自动化服务、精准管理等功能，为业务提供各类数据应用管理信息系统；同时，通过搭建Spss Modeler数据挖掘平台，利用决策树、关联分析等前沿的数据处理算法，对金融营销的应用场景进行建模分析，实现对客户精准分析，预测客户金融行为，得出一些传统逻辑分析中无法得出的结论。大数据布局的整体逻辑结构如图1所示。

图1 系统的整体技术架构

（二）MPP大数据存储与管理技术

随着大数据的到来，数据分析需求不断深入，对数据的分析统计要求不断提高，为提高数据分析综合能力，充分发挥数据对管理和决策的支撑作用，引入MPP大数据存储和管理技术。

GreenPlum数据仓库是基于MPP架构的关系型数据库，支持DW和BI的附加功能，利用并行数据流引擎，GreenPlum可以直接通过SQL操作外部表，数据加载完全并行。我行的GreenPlum采用了万兆以太网交换机，与原来普通的oracle数据仓库相比，数据查询时间从千秒级降为几秒至十几秒，数据导入加载从几个小时降为几分钟。目前GreenPlum数据平台上加载了包括核心、基金等系统基础数据表几百余张，开发了对私交易历史查询、客户关联关系全景展示、个人客户应用系统等功能。通过引入GreenPlum大数据存储管理技术，解决了数据批处理时间长的问题，提升了前端复杂查询的速度，提高用户体验，并进一步支持深入的数据挖掘，助力精准营销和科学决策。

（三）数据应用平台建设

为提供更为便捷多样的数据服务，依托数据实现数字化、智能化，有效利用数据提高运营效率，提高风险防控的能力，分期推动建设了个金大数据平台、公司金融信息平台、客户风险分析平台等数据应用平台，通过整合各类数据资源，依托MPP分布式大数据平台强大的计算分析能力，实现用户画像、产品分析、客户营销挖掘、存贷款业务分析、模型预警分析以及报表报告自动化等众多功能，有效推动了业务发展。

个金大数据平台整合了个人金融、银行卡等信息，提供资金流分析、客户挖掘筛选、客户信息展示、情景化营销模式，主要包括：

1.存贷款业务分析：包括存贷款趋势分析、存贷款日报表、人民币资金流向分析、外币资金流向分析。

2.客户营销挖掘：从基础属性、金融属性、营销属性和产品属性进行分析。基础属性和金融属性从年龄、性别以及日均金融资产等信息去挖掘目标客户群；营销属性和产品属性从客户持有产品方面挖掘目标营销客户。

3.产品分析：包括客户群分析和产品管理分析两个方面。

4.风险监控：包括外汇风险监控、贷后管理、风险提示。

客户风险分析平台将公司、中小、个贷、信用卡等客户信息统一纳入风险联动防控对象，打通各条线的授信风险防控事项，旨在建立集中统一的风险信息管理平台，全面展示客户业务情况和风险征兆。主要包括以下功能：

1.行内外客户画像：整合内外部数据资源，全方位展现客户基本信息、风险信息、授信信息、存贷款与业务量信息、经济资本信息、企业间关联关系和担保链检测。

2.模型预警：包含了资金流向和账户余额监控、疑似贷款资金回流、存贷比、结算量偏低、借款人自身预警信息等数十个模型预警。

3.报表报告自动化：实现一键生成授信报告，减轻业务工作压力，节省人力成本。

4.报表统计：包括信用卡、零售、公司三个维度的黑名单和预警查询，以及对公授信逐账户明细和对公授信逐客户明细。

（5）互联网风险舆情监控：围绕企业负面信息为核心，将舆情信息分为8个大类，145个小类来进行风险分类体系建设，通过对数据的存储和分析，构建我行授信客户互联网态势感知视图，实时监控我行授信客户及其相关联成员的互联网风险，实现企业互联网风险画像

（四）运用算法模型，挖掘数据价值

建立以解决实际业务需求为目标，建模过程独立的数据挖掘平台。平台支撑从数据融合、数据清洗、数据分析、数据建模、参数调优、模型评价整个建模过程。在此平台上开发了信用卡分期响应度模型、中小企业信用风险评分模型、产品推荐模型等，实现了获客挖掘、智能预测、风险防控，形成了一批有价值、可落地的建模成果。

信用卡分期响应度模型是在Spss Modeler数据挖掘平台中的一次具体实践。基于对分期业务的理解，从业务需求的实际应用出发，对信用卡的相关数据进行分析，提取出有效数据构建客户分期特征，模型采用决策树算法对特征参数进行分类分析，并基于分类结果，对分期可能性进行评分。信用卡分期响应度模型投产前，依靠人工手段很难从海量数据中找到目标营销客户；模型上线后，通过批处理实现自动化生成分期客户清单，有效释放人力成本。

通过机器学习算法建立中小企业信用评分模型。通过对数据的深入分析，从客户基本信息、存贷款信息、理财信息、交易信息和预警法院公告等风险信息中提取1000个特征指标，通过基于IV值的单变量筛选方法和基于logistics回归的特征消除、变量相关度的多变量筛选方法，选出30个最优特征变量进行建模，通过基于logistics回归的评分卡模型最终从基本信息、履约能力、交易结算、经营缴税、负面消息五个维度衡量客户信用评分，并最终给出总评分和风险概率值。