数据仓库、数据挖掘在银行中的应用

在当今信息社会里，信息正以爆炸的速度增长，面对来势凶猛的信息，人们往往感到无所适从。事实上，在这信息海洋里有用的信息比率很低。据IBM公司的测算，目前许多企业花费昂贵代价建立起来的数据库，真正有用的只有7%，问题就在于怎样发现那些真正有用的信息。

    就我国的银行业而言，每家银行都有自己庞大的客户信息库，可管理人员往往视这个信息库而不见，只注重其量的总和，如存款余额等，而不去研究开发这个信息库的具体内容，无法把数据转化为对企业有用的信息，导致信息黄金的流失和资源的浪费，同时另一方面在其新开发的业务中又不得不面对高风险威胁。在信息中搜寻黄金又不被信息表面的假象所迷惑，不被信息海洋所淹没，就要采用科学的方法和工具。

一相关的定义

    1.数据仓库(DataWarehouse)

    数据仓库是支持管理决策过程的一个数据集合，这个数据集合是由企业内的历史详细数据和当前详细数据、操作数据和外部(环境)数据按照一定的主题标准归类，进行加工和集成而建立的，是为企业决策服务的。

    2.数据挖掘(Datamining)

    数据挖掘是从大量的、不完全的、先前不知道的、模糊的、可能有污染的随机详细数据中提取隐含的、潜在有用的信息和知识的过程。挖掘的对象是数据库和数据仓库，其目的是通过对数据的统计、分析、综合、归纳和推理，揭示事件问的相互关系，预测未来的发展趋势，起到辅助实际工作问题求解、支持决策的作用。

    3.联机分析处理技术(OLAP)

    谈到数据仓库，总要提到它的主要工具—联机分析处理技术OLAP( Online Analytical Processing。

    OLAP概念是由E. F. Cold于1993年提出的。与OLTP相比较，主要存在以下区别:

    (1) OLTP处理的对象是大量的事务，每个事务处理只对少量的数据进行存取与更新，查询比较简单，返回数据量少，不适应较大规模的决策支持数据分析;而OLAP大量的操作是查询，一般不需要修改数据，返回数据量大，重在分析，为决策支持服务，用户一般不需要很深的SQL知识。

( 2) OLTP系统是生产系统，对时问响应要求高;而OLAP不必实时响应，允许合理的时问延迟。

    ( 3) OLTP数据库只存储当前数据，数据量相对较小，历史数据的作用不大;而OLAP数据库存放大量的历史详细数据和当前详细数据，数据量很大。

    ( 4) OLTP使用对象为基层操作人员，为前台柜面业务服务，用户数量大;而OLAP主要为业务决策和管理人员服务，用来进行营销策划、产品设计等，用户数量相对较小。

    ( } OLTP表非常详细，各种操作一般都基于索引进行;OLAP是集中的、总结性的、面向时问结构的，操作不能完全基于索引进行，而使用数据库技术来提高查询速度，满足查询需要。

对于OLTP系统，衡量数据库性能指标是TPC-C。对数据仓库系统，其主要性能指标是TPC- D .

OLAP有两种实现结构，基于数据库的M(rLAP和基于关系数据库的ROLAP.

二数据仓库和数据挖掘在银行业的作用

    目前我国银行业所做的各种信息系统一般都是OLTP系统，用于完成各种各样的柜面业务，如储蓄系统、会计系统、信用卡系统等。有些银行正在开发集各种柜面业务为一体的综合柜面业务系统，这些系统都是OLTP系统，重在提高业务运行管理效率。只要我们对各家银行的系统进行分析观察，就会发现各系统的内容、模式及所提供的功能基本都是相同的，最多只是所选软硬件平台的不同，这样看来各家银行耗费巨资进行的都是重复的开发，没有把事务处理系统外包出去，从事务处理中摆脱出来，不注重或从没有查询和分析已有的各种客户信息资料，从中找出潜在有用的信息。

    我国各商业银行比较长的一段时问来处在依靠扩大规模、抢占地盘来提高效益的规模效益阶段。经过言目的机构设置、地盘抢占、人员投入之后，才发现实际产出的效益并没有达到期望的效果。目前国内金融机构日益增多，一些外资银行也已抢滩，竞争日趋激烈，扩大规模已不再是行之有效的经营手段。

    随着竞争的日益深入，美国商业银行中的“深度效益”观念必将融入我国商业银行的管理策略之中:把客户细化为不同的个体，细化客户信息的组织和分析，由分析工具和经验选择特定的客户群来划定战场，跟踪每位消费者个体以及个性化的需求，在营销方面实施关系营销，由传统的注重交易转变为注重客户关系和客户价值，从而产生了“关系银行”这个概念。

    美国Bank One银行对自己的客户进行调查发现，白一分之二十的客户创造银行利润，其它白分之八十的客户并没有给银行创造利润。如果我国的银行对自己的客户进行调查，也会发现同样的结果，只是白分比不同而已。我们就是要把零散的、无序的、历史的、当前的各种数据集中起来建立数据仓库，从所建立的数据仓库中挖掘出为银行创造利润的这部分客户，从复杂的客户信息中建立模型，对客户记录信息进行动态跟踪和监测，计算客户价值，锁定特定客户群，分析潜在客户群，制定不同市场需求、不同客户群的市场战略，根据客户的价值选定服务产品配置，从而与创造利润的优良客户建立长期关系。美国西部一家银行测算以“深度效益”为指导的促销为1美元带来10美元的回报。

    建立数据仓库，进行数据挖掘是金融监管的需要。我国的金融监管实时性差，严重滞后，东南亚金融危机的发生迫使我国加强和改善金融监管，降低我国金融市场的风险。

    建立数据仓库，进行数据挖掘也是商业银行生存发展、提高竞争力的需要。我国各商业银行提供的服务内容基本相同，市场竞争日益激烈，风险越来越大，仅靠传统的服务已不能创造更多的利润，为了提高投资的有效性，降低风险，就要广泛收集各方面信息，充分利用已有的各种数据来争取更多的优良客户，支持决策的科学性、可靠性。

三创建数据仓库

    1.定义阶段

    收集和分析决策需求，由决策需求确定数据源，定义数据仓库的环境和设置，定义并设计数据仓库中的数据库。

    2.获取数据

    源数据可以是历史详细数据和当前详细数据。现有OLTP业务系统中的数据是一个主要来源，包括各种客户(个人客户或单位客户)的详细历史数据，如客户历年来发生的明细帐，每笔明细帐发生的时问、发生额及发生原因(如借方发生时的资金用途，贷方发生时的资金来源，客户消费购买的对象等)。对单位客户，其相关的产品结构、行业性质、市场占有率也是有用的信息。以上是内部业务信息。一个完整的数据仓库不可缺少外部数据，包括各种经济、金融的法律、法规、、信息情报及各种工程建设的规划、立项，甚至人口迁移统计等(可看作环境数据)。一些信息表面上看没有任何意义，但大都有着潜在的巨大作用。数据应尽可能详细、准确，以提高决策质量。

    3.数据转换

    数据仓库中的数据模型是面向主题的，获取的各种数据格式可能不统一，类型也不同，所以获取的数据并不能直接加载到数据仓库中，需要对数据进行检查、核对、整合等相关处理。如检查数据的完整性，核对数值的有效性，清理掉错误的、受过污染的数据源，以保证数据质量。数据转换的一般方式有:析取、合并、条件、剔除、扩展、关系识别、检验等。

    4.数据加载与更新

    经过整理转换的数据通过加载工具或程序加载到相应的数据库中。有些加载工具或程序同时具有数据转换的功能，如可从数据库中抽取数据，进行收集总结和重分配，再装载到数据仓库相应的数据库中。虽然对数据仓库中的数据一般只进行只读操作，但也需要对数据进行更新，以适应变化的环境。更新可以是定时刷新，也可以是部分数据的更新。

数据仓库中的污染数据要及时清理掉，当前数据也会变成历史数据，当前数据要保证其“当前”这个特性，如存贷款利率及贷款额度的调整，一些变更的相关的条例等都要及时反映在数据仓库中。

    一般的加载方法有:复制、数据泵和用户程序。

    5.数据与信息的重组

    整理好的数据可能是杂乱无章的，要对数据进行重组，就象OLTP数据库系统表要建索引一样，按照决策的需要，把数据组织成不同主题的数据仓库表，每个主题包含一个主题表系统(存放相关的数据)和一些汇总表组、信息市场组。信息市场组中放置的是对数据处理后产生的决策支持信息，汇总表组定义进行数据汇总处理时层次维数和所分析的变量等。主题有多种分类方法，可以按照客户对象分类，如个人客户和单位客户，也可按照业务性质内容分类，如信用卡客户、储蓄客户或会计客户等。

    这里要提一下的是有的数据仓库中还包含或可分解为一些数据市场。数据仓库是企业级的，为整个企业各部门服务，而数据市场是部门级的，仅为某个部门服务，如投资信贷部和筹资部门可能都有自己的数据市场，事实上，把这些数据市场融合在一起，便成了数据仓库。

    数据仓库的核心是数据库引擎RDBMS，它不同于OLTP系统的RDBMS，应具有:

    ( 1)并行处理能力(因为每个复杂的查询都要占用很多系统资源，这对引擎提出了更高的性能要求);

    ( 2)可仲缩性(满足用户日益增长的要求，容量性能随着数据量的增加、并发用户数的增加等指数增长);

    ( 3)有复杂查询的性能(查询优化分解); ( 4)易于管理和良好的TCP- D基准测试值。    Informix Online XPS具有较好的性能和可仲缩性、容错能力、易管理性，支持数据仓库应用，专为Cluster和MPP环境定制，已有一些成功的案例。IBM DB2并行版已获得了620"/0的RS/ 600QSP数据仓库市场。

    数据仓库也需要管理，如数据的维护与分发，数据仓库的备份、恢复与归档等例行维护。

四挖掘数据

    建完数据仓库，只是把各种数据集中到一起，形成一个数据集合，可利用OLAP工具、查询和报表开发工具等信息存取工具进行查询，产生各种统计报表、图形等，要真正发挥数据仓库的决策支持作用，就要对数据仓库中的数据进行广泛深入的挖掘。数据挖掘能够发现OLAP处理过程所不能发现的更为复杂的更有洞察力的答案。

    数据挖掘有多种方法:归纳法、神经网络、相关分析、模糊逻辑统计分析、遗传算法、决策树方法和可视化技术等。在解决问题时，可使用以下儿种手段:预测模型、数据库分析、链元分析和编差检测。

    (1)预测模型:在OLAP中使用演绎推理，在数据挖掘中使用归纳推理。

    ( 2)数据库分析:把数据库自动划分为聚类(簇)。

    ( 3)链元分析:基于对横向关联和顺序关联的发现，且对记录问联接进行确证。

( 4)偏差检测:对记录不能被归入到特定格元现象的侦知和解释。

    可以交义更替使用各种算法以挖掘更多的信息。

    使用数据仓库和数据挖掘，我们就可以从个人客户帐户(信用卡、各类储蓄存单、卡折等)上发生的明细帐了解客户的收入来源、消费爱好及习惯、收支发生的频度等，分析其消费支付行为，对客户帐户进行分类，根据明细数据给客户计分，采取措施优化客户服务，如，给予优良客户消费优惠折扣以鼓励消费并吸引潜在客户。对于单位帐户，如厂商，可以通过了解客户经营的产品结构、行业性质、市场占有率、社会需求及国家的有关等，分析其发展趋势，确定其资金偿还能力、信用等级等，也可通过对一些潜在的客户数据分析，拓展有前途的客户，最终起到降低成本与风险、提高效益的作用。

对此已有一些成功的案例，如IBM在对信用卡欺诈的侦测、目标市场和固定资产评估等的数据库分析中成功地使用了这些算法和手段。

    拥有二十亿美元资产的First二银行根据消费者是否有家庭财产贷款、赊帐卡、存款证或其他储蓄、投资产品，将他们分成若干组，使用数据挖掘程序预测于1‘么时问向每位客户提供哪种产品。

    数据仓库、数据挖掘构成了决策支持系统( DSS)框架，使DSS进入实用阶段，更有效地提高决策支持能力。

    数据仓库和数据挖掘对银行管理决策和IT人员提出了更高的要求，传统的OLTP系统提高效率有限，不具有多大的竞争优势。仃人员要从OLTP系统中摆脱出来，从事高附加值的工作，管理决策人员需要掌握一定的计算机方面的知识。

    银行经营的最终目的是创造和获取最大利润，充分利用已有的数据资源，挖掘出其中的信息黄金，深化和客户的关系，发现潜在的客户群，抢占市场，将对降低投资风险，避免高风险投资，提高投资效益起到意想不到的作用。