数据仓库的未来发展

姓名：  于涵   班级： 信管021  学号： 021524   电话： 811319 

摘要：总结了数据仓库的基本知识，及未来发展趋势、方向。还提出了数据集市群、知识推导系统等对数据仓库未来发展的一些个人看法。主要包括：

DW的基本知识、概念

DW未来发展方向——数据集市，数据集市群。

基于Internet2、未来高性能计算机和GGG技术的DW：未来计算机的发展趋势，联机系统发展趋势

知识推导的定义：由低级知识推倒高级知识；进行知识推导的方法；知识推导的意义

引言：

在未来瞬息万变的日子里，能够生存下来的企业必须根据外界变化，及时地做出分析并对企业市场策略进行调整。为了达到这样的目的，高层管理者和企业里的分析人员需要更多更有用的信息。虽然我们目前的信息技术已经可以实现这一点。但可悲的是，在很多的组织尤其是国内企业中。计算机软、硬件和通信网络越来越强大，可管理者、决策者却无法从已经存在于组织内的大量信息中得到它们。每个企业产生的海量商务信息，比如：他们的客户信息、产品信息、交易记录和企业内部信息等等，动辄数百Mb甚至数Gb字节。但这些数据被分散在各式各样的数据库中，难以综合处理。有的专家把这种现象戏称为“数据在坐牢”。

要解决这一尴尬，把大量数据整合起来，并从中提取、制定市场策略的信息就显得越来越重要了。这种需求既要求联机服务，又涉及大量用于决策的数据，而传统的数据库系统显然已无法满足这种需求。于是数据仓库和决策支持系统的概念应运而生了。

1数据仓库的产生和发展

现在基于业务数据的决策分析——联机分析处理（OLAP），比以往任何时候都显得更为重要。如果说传统联机事务处理（OLTP）强调的是更新数据库——向数据库中添加信息，那么OLAP就是从数据库中获取信息、利用信息。有人曾说：“我们花了二十多年的时间将数据放入数据库，如今是该将它们拿出来的时候了。”

事实上，将大量的业务数据应用于分析和统计原本是一个非常简单和自然的想法。但在实际的操作中，人们却发现要获得有用的信息并非如想象的那么容易：第一，所有OLTP强调的是密集的数据更新处理性能和系统的可靠性，并不关心数据查询的方便与快捷。联机分析和事务处理对系统的要求不同，同一个数据库在理论上都难以做到两全；第二，业务数据往往被存放于分散的异构环境中，不易统一查询访问，而且还有大量的历史数据处于脱机状态，形同虚设；第三，业务数据的模式针对事务处理系统而设计，数据的格式和描述方式并不适合非计算机专业人员进行业务上的分析和统计。

可以这么说，以前查询不到信息是因为数据太少了，而今天查询不到则是因为数据太多了。针对这一问题，人们设想专门为业务的统计分析建立一个数据中心，它的数据从OLTP系统中来、从外部数据源来、从历史业务数据中来……这个数据中心是一个联机的系统，它是专门为分析统计和决策支持应用服务的，通过它可满足决策支持和联机分析应用所要求的一切。这个数据中心就叫做数据仓库。数据仓库就是一个作为决策支持系统和联机分析应用数据源的结构化数据环境。数据仓库所要研究和解决的问题就是从数据库中获取信息的问题。

与关系数据库不同，数据仓库并没有严格的数学理论基础，它更偏向于工程。由于数据仓库的这种工程性，因而在技术上可以根据它的工作过程分为：数据的抽取、存储和管理、数据的表现以及数据仓库设计的技术咨询四个方面。

1.1数据的抽取

数据仓库是一个的数据环境，它需要通过抽取过程将数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导入数据仓库。数据抽取可以定时进行，但多个抽取操作执行的时间、相互的顺序、成败对数据仓库中信息的有效性则至关重要。

1.2存储和管理

数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库的特性，同时也决定了其对外部数据表现形式。要决定采用什么产品和技术来建立数据仓库核心，则需要从数据仓库的技术特点着手分析。

◆如何完成对大量数据的存储和管理

◆并行处理能力

◆针对决策支持查询的优化。

◆支持分析的查询模式，这也是关系数据库在数据仓库领域遇到的最严峻的挑战之一。

1.3数据的表现

数据表现是数据仓库的门面。这里说的主要是分析、数理统计和数据挖掘方面。

1.4数据仓库设计的技术咨询

数据仓库绝不是简单的产品堆砌，它是一个综合性的解决方案和系统工程。在数据仓库的实施过程中，技术咨询服务至关重要，是一个不可缺少的部分，它甚至于比购买产品更为重要。

就目前的发展来看，建立数据仓库有两个基本条件：1.建立数据仓库的行业有较为成熟的OLTP系统，它为数据仓库提供客观条件；2.该行业面临市场竞争的压力，它为数据仓库的建立提供外在的动力。另外建立大型数据仓库，成本也是较高的，所以对企业的经济实力也是个考验。所以数据仓库的概念一经出现，就首先被应用于金融、电信、保险等行业。

2数据仓库发展的十个趋势

2.1数据仓库规模不断增长

所有企业的数据仓库规模都将呈指数增长，数据源的增长以及企业对数据更好的获取能力推动了这种增长。另外存储成本也越来越便宜，因此企业能够保存更长期的数据。但数据增长也将使企业面临一些新问题，包括数据仓库的可升级性以及可能出现的性能问题。

2.2数据集市的整合

这是一个比较有趣的话题，我会在稍后的文章中作详细分析。

2.3客户数据集成

许多企业如今很想跨越产品线、业务单位、渠道和地理各方面来综合地得到一个关于客户的单一视图，一种称之为客户数据集成（CDI）的解决方案应声而出，其核心部分由数据仓库和相关技术构成。客户数据集成提供了对客户数据360°的全方位视图，并使企业可以从任何一个接触点上对客户进行认识和做出反应。

2.4开发商的整合

由于企业都想得到完备的产品套件，数据仓库和商务智能开发商因此将越来越多的功能融合到他们的产品中去。

2.5 EAI和ETL工具的集成

2.6快速反应的决策支持

电子商务的不断增长驱使着企业去寻找共享数据和对机会快速反应的方法，虽然真正的实时决策支持基本是不可能的，但数据仓库技术的进步却使快速反应的决策支持得以实现。在数分钟或数秒钟内对数据进行分析和对事件做出反应的能力有助于企业在各方面的行动，比如供应链管理、客户服务和商务性能管理等。

2.7非结构化信息的增长

企业正面临着非结构化和半结构化数据的增长，包括图像、声音、视频、XML以及其它的数据类型。同时，相关的技术也在不断出现，使企业可以采用跟以前处理传统的结构化数据资源的方式，来存储和挖掘这些数据。

2.8越来越了解如何对“成功或失败”问题做出正确分析——知识管理

在企业仓促着手建立数据仓库或其它分析型知识库时，数据质量或元数据这些重要问题经常被忽视，其后果就是，很多企业现今发现他们的行动成功性打了不少折扣，因为他们不能确定“成功或失败”问题。数据质量问题和元数据的缺乏会严重影响用户对数据仓库的接受程度，也只能得到可怜的分析结果和不正确的决策。这是一个相当复杂的问题，需要花费时间和精力去确定他们。

2.9强调应用程序VS数据仓库

对大多企业来说，数据仓库不再是单独的一件事。需要确定投资回报率。数据仓库项目跟以前一样是必需的，但可能会尽量跟应用程序联系起来以便于计算投资回报率和调整项目成本。

2.10越来越注重盈亏问题

艰难的经济环境迫使企业除了收入增长外，还得认真考虑收益率问题。这种不断增加的对盈亏问题的注意力影响到了IT项目，其中包括数据仓库，最终导致各级水平上的成本削减。新的数据仓库项目仍将不断进行，但是企业不会再妄想一步登天去做那些对盈利没有直接影响的事；它们还想有一个明确的商业案例，明确的投资回报率和更短的回报周期。

3数据集市、集市群——行业的发展方向

在数据仓库产品方面，微软是以其关系数据库SQL Server作为它数据仓库核心的。微软的OLAP走的是ROLAP的路子，与其数据转换一样，属于常规的解决方案；而并行处理和决策支持扩展则不是SQL Server的强项。因此，整个解决方案仍面向中低端，价格取胜是关键。为此，微软在数据仓库市场中倡导了另一个概念——数据集市(Data Mart)。所谓数据集市就是一个面向部门应用的、小型的数据仓库；所采用的技术与数据仓库相似，但存储的内容更加专题化。对于数据集市这样的规模，微软的解决方案便可成为理想的选择。

虽然微软是无数IT人士“憎恨”的对象，但我们不得不承认，它在市场定位方面的工作一直很成功。其所坚持的走大众化、平民化道路的理念，从操作系统中的windows，办公软件里得Office到数据库领域的SQL Sever等等,无一不是成功的案例。在这次数据仓库的较量中，微软又打起了数据集市的大旗。就目前情况而言，能够建立大型数据仓库的企业毕竟还局限于有雄厚实力的大型公司。而占市场相当比重的中小企业，一方面难以接受建立数据仓库高昂的成本，另一方面使用大型数据仓库来解决他们少量的工作也显得有些浪费。而此时数据集市则成了他们不错的选择。

数据集市可以分为两种类型:型数据集市和从属型数据集市。型数据集市直接从操作型环境获取数据，从属型数据集市从企业级数据仓库获取数据。

作为快速解决企业当前存在的实际问题的一种有效方法，型数据集市成为一种既成事实。型数据集市是为满足特定用户的需求而建立的一种分析型环境，它能够快速地解决某些具体的问题，而且投资规模也比数据仓库小很多。

但数据集市也存在一些问题：

◆冗余数据。随着数据集市数量的增长，数据冗余量也不断增长，这种冗余是由于每个数据集市都有一个整体数据的备份而引起的，但这些数据中有不少通常并不是必需的。

◆冗余流程。数据仓库的体系结构可以对所有数据集市的共同活动进行集中化，没有数据仓库，这些流程就必须为每个数据集市进行复制，这将大大增加维护DSS所需的员工数量。

◆较低的可伸缩性。数据集市直接读取运作系统的文件或表，这极大了DSS的伸缩能力。

◆非集成。数据集市是由自成体系的团队建立的，而且一般是为不同的部门建立的，导致这些数据集市没有进行集成，而且没有一个会包含了整个企业的视图。因此，如果CEO让信息部门提供一个获利能力最强的客户列表，那么从每个数据集市分析到的答案都将是不同的。

型数据集市的存在会给人造成一种错觉，似乎可以先地构建数据集市，当数据集市达到一定的规模再直接转换为数据仓库。实际上多个的数据集市的累积，是不能形成一个企业级的数据仓库的。就如同把一堆小杂鱼堆在一起并不能成为一条大鲸鱼。如果企业最终想建设一个全企业统一的数据仓库，想要以整个企业的视图分析数据，型数据集市恐怕不是合适的选择。现在的业内人士普遍认为，从属型数据集市在体系结构上比型数据集市更稳定，可以作为数据集市未来建设的主要方向。

但笔者认为：从属型数据集市不过是在数据仓库与最终用户之间又增加了一套汇集、优化系统。这样的设计也许对提高整个系统的反应速度方面有一定帮助，但却削弱了数据集市相当重要的一项优势——廉价。其成本甚至超过了单一数据仓库系统，不利于此类技术的大众化、平民化发展。另一种比较理想的方式是，企业先就其最急需的领域建立型数据集市，而后随着需求的变化、实力的增强逐步建立更多的数据集市。这些数据集市之间保持一种高度的统一与协调机制，构成一个完整的群体，我把它称作——数据集市群。

数据集市群的优势主要表现在以下几方面：

◆成本低廉。初始成本为初始数据集市的成本加上集市群控制器的成本。虽然比只有几个数据集市的成本高，但与数据仓库相比还是便宜很多。而且其投入产出比也更容易预测。

◆冗余度低。由于加入了集市群控制器，各数据集市中的数据被统一调度，统一规划。从而消除了数据集市件容易发生的数据冗余、不一致等问题。

◆后期维护容易。当集市群因某种需求而要加入新的数据集市时，所要考虑的问题仅是新的模块需要那些数据，原有集市群能提供那些数据。根据这两点去设计新的数据集市，而不必对原有集市群做什么调整。

数据集市群的建立需要前期的精心策划、设计和标准化的接口设计。只有解决好这些问题，才能保证以后新建的集市能够与原来的群顺利实现对接及整体效果最佳。目前看来这还是一项相当复杂的工程，但其一旦实现，给数据仓库行业带来的震动将是难以想象的。

4基于Internet2、光处理器计算机和GGG技术的DW 

4.1 Internet2

1996年由一些大学和高科技公司组成的联盟开发的，旨在提供超高速的连接速度，该项目的目标是领先于商用互联网3-4年的时间。目前的Internet2已经是第三代了，今年早些时候，其骨干网的数据传输速率已经升级为10Gbps。目前大部分的公共互联网使用2.5Gbps，一些运营商正在将它们的连接升级至10Gbps。

P2P应用、高清晰视频会议、实验室设备的远程操作、分布式计算等应用都可以在Internet2上运行。目前，由于受带宽的，这些应用的大规模部署还很缓慢，而Internet2则能够满足这些应用对带宽的需求。通过Internet2进行的音乐会转播每秒钟能够发送250GB的数据，这比标准的拨号连接要快4000倍，比有线电视连接要快800倍。

研究人员仍然在研究如何进一步提高Internet2的效率和速度的问题。自2000年来，Internet2一直在赞助一项竞赛，看哪个研究团队开发的IP路由配置速度最快。研究人员还在开发新的中间件技术，使通过网络的协作更无缝更安全。在目前的互联网上，应用程序本身必须提供中间件所提供的识别、授权、安全等服务。通过语言标准化和兼容性，中间件将大大提高先进网络应用的易用性。

在过去的15年中，互联网的速度每年都会翻一番。研究人员相信，这种每年增长100%的趋势在未来还会持续下去。Internet2的研究人员已经在研究新一代的超高速网络。速度为10Gbps的Abilene网络的平均运行速度为1Gbps-2Gbps。另外在高等教育领域，用户对带宽的需求的增长将呈几何级数增长，因此新应用的需求将超过目前的公共IP网络的带宽也是很自然的。

4.2未来高性能计算机

按照摩尔定律，每过18个月，微处理器硅芯片上晶体管的数量就会翻一番。随着大规模集成电路工艺的发展，芯片的集成度越来越高，也越来越接近工艺甚至物理的上限，最终，晶体管会变得只有几个分子那样小。以摩尔速度发展的微处理器使全世界的微电子技术专家面临着新的挑战。尽管传统的、基于集成电路的计算机短期内还不会退出历史舞台，但旨在超越它的超导计算机、纳米计算机、光计算机、DNA计算机和量子计算机正在跃跃欲试。与传统硅芯片计算机不同，光计算机用光束代替电子进行运算和存储：它以不同波长的光代表不同的数据，以大量的透镜、棱镜和反射镜将数据从一个芯片传送到另一个芯片。 

从上个世纪80年代起，光子计算机就成为新一代计算机的发展方向。2003年10月底，全球首枚嵌入光核心的商用向量光学数字处理器——由以色列一公司研发的Enlight在美国波士顿军事通信展览会上露面，引起了业界莫大的关注。因为，它的出现预示着计算机将进入光学时代。以光速进行计算，运行速度达到每秒8万亿次——这相当于一台超级计算机的运算能力。但超级计算机动辄采用上千个处理器同时工作，才能实现这样的运算速度。以去年问世的“地球模拟器”为例，这台号称全球运算速度最快的超级计算机峰值运算速度为35.86万亿次，而这个速度是由它的5120个处理器共同创造出来的。

由于Enlight强大的性能，能够被广泛运用在大型多媒体广播系统、机场安全检查系统和医学数据库系统等方面。比如在移动通信领域，采用Enlight进行多用户检测，即通过重复计算一系列方程式，能解除同一基站内用户间的相互干扰。一枚单独的Enlight就可以同时支持2000个用户，并避免相互干扰。而在生物科技方面，Enlight强大的运算能力，可以大大缩短生物技术运算必需的基因数据配对和基因与多基体配对过程。

“光子运算具有巨大的潜力，能够做常规计算无法办到的事。”德国达姆施塔特大学的科尔内利娅·登茨博士长期致力于光计算研究。她表示，采用光学技术不但可以极大地提升计算机的运算速度，而且可以让计算机系统模拟人脑的思维活动，并且比人脑的处理速度快上数千倍，从而实现真正的人工智能。科学家的预测不是没有依据的。到2015年，硅芯片的运算速度和微型化发展都将止步不前。而与此同时，网络和其他行业发展带来的海量数据运算需要和更快的传输需求，将迫使人们不得不寻求性的变革。

4.3网格技术

网格计算因为在结构上酷似电力网络而得名。在九十年代中期，网格作为一种共享计算的方法被正式提出，并首先在科研领域应用。后来，为了降低成本，很多企业也打算利用闲置的资源，网格开始逐步进入商业市场，并由此为许多产业带来了新的机遇。

网格技术是一种趋势，这是毋庸置疑的。就像计算机最初是大型主机，发展到更加通用的小型机，现在则又有了更多的选择。这其中有成本的原因，有硬件技术的发展，也说明大家都在期待一个更加开放的平台。网格技术正是这种趋势发展的一个必然。

尽管网格的发展还面临很大的困难，有业内人士说，“网格的处境就好像10年前的Internet和3年前的Linux一样，正在从技术计算进入商业计算。”但是，曾经价格高昂的网格计算已经进入各个组织机构及公司，广泛应用到金融和工程仿真，医学研究和石油勘探领域，发挥着巨大的作用：汽车制造商们正实施更多的模拟程序以使汽车更安全；娱乐公司更细致地描绘数字人像以求逼真的效果……对企业来说，网格无疑是极具价值的工具，未来几年，将会有更多的网格进入市场。

为了在未来的发展潮流中占据有利的战略地位，世界各国都纷纷加紧了网格研究的步伐。 一些发达国家和公司已为此投下了巨资。在具体实施中，IBM全球服务部和其业务合作伙伴一起，共同提供各种与网格有关的服务，包括一个网格创新工作室(用于帮助企业在其业务中实施网格)以及专业化的行业专用课程。在产品方面，IBM eServer产品线也形成了一个可以用来设计和开发网格解决方案、甚至管理整个网格的坚实平台；其 DB2产品和工具也支持网格计算解决方案，使得能快速、方便地建设复杂的数据基础设施.

4.4数据仓库、联机系统的发展

根据长久以来的经验，计算机的软硬件发展一直是互相促进、互为动力的。以上所述的未来高性能计算机、Internet2、网格技术等等已经为我们勾勒出了一幅美好的画面。更强大的计算工作站、惊人的信息传输速度、更优化的网络协调机制，这些无疑都给未来软件业的发展带来了更广阔的施展空间。就如同现在的PC机使用的内存，比10年前硬盘的存储容量还大一样。许许多多现在认为不可能实现或相当复杂的工作，对那时的计算机系统来说不过是小儿科而以。到那时对一个包含5千万条记录的DW作一次完整分析，也仅仅需要几秒钟的时间。

所以我们有理由相信在新一代的应用系统中，数据仓库将在一开始便被纳入系统设计的考虑，联机分析会应用于普遍的事务处理系统之中。在数据管理上，联机事务处理和数据仓库在应用中相对，使联机事务处理系统本身更加简洁高效，同时分析统计也更为便利。面向行业的数理统计学向更为普遍的应用发展，并集成到应用系统的数据仓库解决方案中。它们将立足于数据仓库提供的丰富信息，更好地为业务决策服务。

5知识推导

首先让我们来明确几个定义。

数据：数据就是客观世界的信息在计算机上的表现。简单来说，数据就是长长的一串“0”与“1”的组合，没有任何意义。

信息：经过加工、处理后的数据。他对信息接收者的决策和行为具有现实或潜在的价值。

知识：信息经过归纳、总结即成为了知识。

苹果砸在牛顿头上的数据（或叫做一个事件、事实），使牛顿得到了苹果会下落的信息。经过对苹果要下落、梨子要下落、鸟屎也要下落等众多信息的总结、分析，牛顿得到了“万有引力”这个知识。在这之后，众多科学家们又在万有引力定律的基础上进行了众多研究，最终建立了一套完整的经典物理理论体系。这后面的过程，我把它叫做知识推导。

知识推导：把已知的知识进行加工、处理从而推导出全新的知识。即由较低级的知识产生较高级的知识的过程。

在现实生活中，知识推导的意义是不容忽视的。正如人们所说的，“站在巨人的肩膀上，我们才能看得更远”。我们分析问题时可以站在前人已经得出的正确结论基础上，进行进一步分析，这样效率自然大大提高。什么事情都从猴子变人谈起的工作方式显然不能适应现在瞬息万变的社会环境。而目前的基于数据仓库的决策支持机制似乎就存在着这样的问题。

以上是笔者所思考的另外一种的知识获取机制。在企业的各种数据由OLTP等来源装载入数据仓库的同时，数据分析系统即进行一次分析总结。总结的结果将装入知识数据库。当联机分析系统提出数据分析请求时，首先响应请求的是知识数据库。系统将试着将知识数据库内的知识进行分析加工，以生成所需信息。当已有知识不能满足需求时，再转入数据仓库进行分析。这样一来，像使用频率较高的月报分析、年报分析等问题既可以非常高效地得出——也就是这个系统给我们带来的最大好处。而且新产生的高级知识也将被存入知识数据库，已备进一步产生更高级的知识。整个过程中的知识推导似乎更像是人工智能领域内的知识归结。由于笔者能力有限，在此只能提出此项技术的总体设想，具体技术实现，还要有大家共同探讨得出。

展望远景，数据仓库行业将得到人们越来越多的认可，其走向大众也将成为历史必然。随着各项技术的不断完善，从传统数据仓库，直至以知识为主体进行知识管理，使其更贴近知识化、自然化是数据仓库的发展方向。

参考文献：

[1]    郑晓军，《数据仓库的技术和发展现状》，微电脑世界周刊，2003-10

[2]    Nancy Padrick，《DataMart & DataWarehouse》，www.IBM.com，2003-04

[3]    徐志伟，《因特网之后是什么？》，微型机算计，2001-11

[4]    王卫红、田忠和，《数据仓库技术的产生和发展》，河北工业科技，2002-02