数据集成的应用和案例调研

一、数据集成要解决的问题

从分布、异构和自治的数据源中集成数据，同时保留数据在现存的不同系统上的完整性和一致性

对用户（对统一数据的需求方）隐藏数据的差异性，为其提供统一的数据接口，用于查询、获取和分析

对信息化发展过程中积累的凌乱、重复、歧义的数据进行“再集中、再统一”

二、数据集成的几种架构

单系统数据集成架构：是国内目前主要采用的架构，主要是以数据仓库系统为代表提供服务而兴建的数据集成平台，面向企业内部如ERP、财务、OA等多个业务操作系统，集成企业基础明细数据，转换成统一标准，按星型结构存储，面向市场经营分析、客户行为分析等多个特有主题进行商务智能应用。

企业统一数据集成架构：组织结构较复杂的大型企业、机构比较偏爱，因为此类单位具有业务结构相对、数据权力尤为敏感、数据接口复杂等特征，需要多个部门协商来建立一个统一的数据中心平台，来解决部门之间频繁的数据交换的需求。业务、层级管理的组织结构决定了内部数据交互的复杂性。

机构之间的数据集成架构：跨企业、跨机构、多个单位围绕某项或几项业务进行的业务活动，或由一个第三方机构来进行协调这些企业、机构之间的数据交换、制定统一数据标准，从而形成一个多机构之间的数据集成平台。典型的有中国银联与各商业银行之间的应用案例、市信息中心与市各机关单位之间的应用案例、外贸EDI（海关、检验检疫局、外汇局、银行、保险、运输等）。

三、数据集成的核心应用

国内企业常见的数据集成应用有数据仓库、数据同步、数据交换，随着企业并购、新旧系统升级、分布系统向数据大集中看齐、电子商务的发展、多个企业单位协同作业等等众多业务需求的诞生，数据集成的应用开始繁荣起来。 

目前大部分数据集成软件厂商都是围绕数据仓库（Data Warehousing）、数据迁移（Data Migration）、数据合并（Data Consolidation）、数据同步（Data Synchronization）、数据交换（Data Hubs或者叫主数据管理:Master Data Management）这5种常见的企业应用形式来发展各自的产品技术。

数据仓库：集成企业基础数据，面向特定主题

数据迁移：新旧系统升级、数据大集中

数据同步：交通、证券交易、实时汇率

数据合并：企业并购、HR系统的合并、财务系统的合并、其它业务系统的合并，当系统需要合并必然产生数据的合并

数据交换（主数据管理）：一般构成企业主要的基础数据分别是客户数据、产品数据、员工信息数据、供应商数据，要从企业多个系统中快速、可靠地建立唯一、完整的企业主数据视图。是目前最复杂的数据集成应用

四、现有解决方案和案例（以Informatica解决方案为例）

数据集成解决方案的核心是“抽取、转换和装载，即Extraction Transformation Load, ETL 过程”，ETL过程的优劣或者是否适合于企业的数据和业务也是解决问题的主要参考标准。

案例一：中国电信江苏省分公司

1.基本情况

13个地市级分公司+6家直属单位+3个子公司+56个县级电信局

2.集成需求

江苏电信 的数据仓库共有  节点，源自 28 个源生产系统，因此系立、数据分散、缺乏一致性、制约决策分析的应用支持，计划建立企业数据架构（EDA，Enterprise Data Architects），融合后端90%以上数据。

3.解决方案、措施和结果

数据仓库为数据处理核心，数据分布和流转过程首先从各个联机事务处理环境、业务和应用源系统中提取出数据，由Informatica PowerCenter 进行清理以提升数据质量，然后经过抽取、转换和装载，即 ETL 过程，导入到 ODS 仓库中，从而得到企业数据的一个全局视图，之后根据不同需求下发到各个不同的数据集市中，性能上能够每月 6 日完成月报数据提供，每日 8 点半之前完成日报数据提供。

案例二：中国人寿财产保险股份有限公司

1.基本情况

已建、在建的系统模块有 BAS（业务分析系统）、FAS（财务分析系统）、KPI 绩效指标分析、人力分析，再保分析、客户分析、内控审计管理平台等。

2.集成需求

系统间缺乏统一接口，主数据混乱，缺乏数据增量规则，新的数据与源系统沟通成本较高

3.解决方案、措施和结果

原系统只有业务数据，现在需要加入人力、财务数据，因此通过 Informatica PowerCenter，国寿财险的数据分析平台实现了与 SAP 系统的对接，并兼容公司多年来陆续建立的 Oracle、SAP、SQL Server 等数据库中数据

图1 案例中国人寿 附图

案例三：中国南方电网

1.基本情况

系统间缺乏统一接口，主数据混乱，缺乏数据增量规则，新的数据与源系统沟通成本较高

2.集成需求

在数据资源管理组织及认责体系不完善、数据资源管理的流程不完整、数据资源管理的技术支撑不足以及数据标准及数据规划落地执行力度不够等方面，重点关注“主数据管理”问题。

3.解决方案、措施和结果

Informatica MDM 能够提供企业统一完整的主数据视图，解决部门之间的业务和数据交叉问题，避免因业务和数据交叉导致的主数据不一致问题，全面提升一体化管理能力。通过基于 SOA 架构的数据资源管理平台，南方电网很好地实现了网、省两级数据的纵向贯通以及系统间业务的横向集成.

图2 案例中国南方电网 附图

案例四：五矿集团

1.基本情况

2000年以来，五矿信息管理打造了钢铁贸易ERP、有色贸易ERP等系统，把业务流程管理起来。此后，五矿又陆续开发了统一的标准化系统、用户权限管理系统以及十几套业务管理系统，这些系统的基础数据和用户权限都由统一平台进行管理。2006年，引进了SAP ERP来整合业务与管理信息系统。

2.集中需求

 SAP 系统并不适合领导层使用，因为系统过于细化，另外，五矿还有诸多如物流系统、分销系统、邮件系统等涉及不同业务范围和流程的专业系统，其中大部分都已运行多年，累积了大量的历史数据。希望能从庞杂的历史 数据中获得更多更准确的信息，将不同业务系统中的相关信息集中起来，实现各部门、各分支间的信息共享，为业务决策提供更多实时的、横向的、全局的支持。

3.解决方案、措施和结果

图2 案例中国南方电网 附图

整个数据仓库分为源数据层、缓冲层、整合层及展示层四部分，具体来讲，通过Informatica PowerCenter 对各种源数据的整合，把SAP、物流、分销、集中结算等系统数据采集到一个临时缓冲区中，然后通过产品的数据清洗和标准化功能，把采集到得数据进行标准化。

五、结论：以客户数据为例，看如何将数据集成应用在数据治理中

数据集成和数据治理的关系：数据集成的要点是集成过程，是一种面向业务需要来整合、管理数据的过程和技术，是一个动态过程；数据治理是一种涵盖制度、权责管理、数据管理、技术应用、业务分析的框架，需要企业管理层的统一规划、和数据直接相关的部门和人员、信息科技人员的参与,是一个系统工程。

以客户数据为例，若现有华融证券、华融湘江银行、总部客户营销部的数据，即可通过数据合并和主数据管理，得到数据副本，形成唯一的总体数据视图，支持上层应用。集成过程的关键点有：

1.关键数据的确定 （什么数据是需要的？）

2.统一数据视图的设计 （需要集成为什么样的形式？）

3.不同数据源到统一数据视图的转换 （如何转换和集成？）