2018年度大数据挖掘大作业

1、引言

    运输业是国家经济的一个重要的组成部分，其发展水平已经成为一个国家和地区综合实力的重要体现。随着经济全球化，我国对物流的需求将大幅度的增加，物流将呈现跳跃式发展趋势。企业开始改变那种以商品为导向的观念，开始注重发掘，通过收集整理繁多的信息，量化分析需求，提供优质的售后服务，保持稳定的关系等措施，来加强对客户关系的管理。 

CRM的主要含义就是通过对详细资料的深入分析，来提高满意程度，从而提高企业的竞争力的一种手段，CRM最大程度地改善、提高了整个关系生命周期的绩效。CRM整合了、公司、员工等资源，对资源有效地、结构化地进行分配和重组，便于在整个关系生命周期内及时了解、使用有关资源和知识；简化、优化了各项业务流程，使得公司和员工在销售、服务、市场营销活动中，能够把注意力集中到改善关系、提升绩效的重要方面与核心业务上，提高员工对的快速反应和反馈能力；也为带来了便利，能够根据需求迅速获得个性化的商品、方案和服务。要在激烈的市场竞争中获得主动，越来越多的民航企业把保持客户作为企业的重要任务，谁能留住那些能给企业带来丰厚利润的关键客户，并获得他们长久的信任和支持，谁就能获得满意的回报，进而赢得持续的竞争优势。 

    在航空业，客户关系管理的应用有其特别的原因。面对航空公司的管理需求，急需引入先进的客户关系管理理念。在航空公司引入电子商务后，公司关注的重点由提高内部效率向尊重外部转移。而CRM理念正是基于对客户的尊重，要求公司完整地认识整个客户生命周期，提供与客户沟通的统一平台，提高员工与接触的效率和反馈率。随着“以客户为中心"的客户关系管理技术在航空业的不断应用和发展，航空服务质量的改善提高的同时，产生了大量的客户数据，充分挖掘这些数据中隐藏的有用信息可以为航空公司的经营决策带来极大的帮助。

2、设计思路与方案概述

1.研究方法 

数据仓库与数据挖掘是CRM的重要组成部分，航空公司与客户的交流会产生大量的数据，这些数据一般由交易系统收集而来，然后将这些数据集中、清理、汇总后进入数据仓库，设计良好的数据仓库包含客户与公司交流的历史记录。将数据挖掘工具用于处理这些历史记录，可以帮助公司将来更好的服务客户。 

2研究思路 

1、通过对比国内外航空公司关系管理应用现状，分析出我国航空公司客户关系管理存在的主要问题。 

2、针对存在的问题，构建我国航空公司客户关系管理系统模型，并在此基础上，应用数据仓库的相关知识，建立我国航空公司客户信息数据仓库，最后应用数据挖掘技术对航空公司客户群体进行划分。 

3、构建CRM数据仓库，对客户信息数据模型进行建立，同时对操作数据存储(ODS)进行分析。 

4、对OLAP技术和数据挖掘技术(基于互动循环过程和SEMMA的数据挖掘实施方法)在CRM中研究分析，并分析了金字塔模型和收转发分析模型，得出有利 于航空公司营运的分析结论。

3、航空公司CRM体系结构与数据挖掘的应用分析

1、航空公司CRM体系结构 

    从体系结构角度看，整个航空公司客户关系管理架构可以分为三个关键部 分： 

(1)分析层的客户关系管理：用于对实施操作的CRM和互动产生的信息进行分析处理，通过基于数据仓库的数据挖掘，产生商业智能以支持企业战略战术的决策，包括：市场细分、服务支持、变动分析、接触最优化、垂直和交叉分析、新模型、广告分析、生命周期价值模型等； 

(2)操作层的客户关系管理：用于自动地集成的过程，包括对营销、销售和服务三部分流程的信息化，前后端的集成、接触点； 

(3)客户互动：关注接触点的交互，即与客户沟通所需要的行为(如QQ、EMAIL、电话等)的集成和自动化处理。 

    现在航空公司的更多的要求得到“及时"的服务。越多了解客户的信息，航空公司就越能快速的发现一些潜在客户的利益，随时为客户提供更多的服务。具体来讲，航空公司实施客户关系管理主要为了达到以下目标： 1、分析客户真正的需求 

航空公司要了解客户的真正需求。需要航空公司人员礼貌周到的服务，他们希望自己得到尊重；需要方便、快捷的服务，他们希望能节约时间；希望航空公司能加快电子化的建设和创新，以此享受更好的服务。在进入买方市场的今天，客户完全可以自主选择服务好的航空公司。虽然，有的时候航空公司修正了对待客户的态度，但是客户的偏好已经发生了变化，他们提出了更高的要求，而航空公司并没有真正知晓。如何真正把握的需求，如何向客户提供一对一的优质服务，真正提高客户的满意程度，增加竞争力，便是航空公司客户关系管理需要做的一部分。 

2、辨别真正的盈利 

    客户关系管理的基本原则是明确效益点，增加利润。但很多航空公司并不能辨识哪些客户具有价值，哪些客户在消耗成本，也不知道哪些客户即将离开，哪些客户会对某一营销行为有反应。此时，CRM就要根据的成本／利润分析，找出一 重点，并对目标市场进行细分，针对不同群体实施不同的策略。 3、客户细分，提供差异化的商品和服务 对于航空公司来说，分类是常有的行为。从客户的等级分类等一系列实际操作中都可以看到分类的广泛使用。在CRM系统中，分类方法也起着很重要的作用。通过细分市场，针对不同的市场采取不同的营销策略，提供差异化的服务。 4、留住老客户，提高客户的忠诚度 航空公司如何留住老客户，从而确定其不转向竞争对手，首先必须清楚老客户有哪些特征?他们的需要是什么?他们的行为习惯和偏好是什么?’导致老客户离开的原因是什么?怎么做才能挽留老客户?老客户对于航空公司很重要，因为吸引新客户的成本是保留现有客户的5倍，进攻性营销明显比防守性营销花费的更多，前者需要花更多的时间和成本。

 3、建立模型（数据仓库及0LAP系统的构建）

 空公司CRM数据仓库的构建: 

1.货运信息数据仓库

    数据仓库作为数据存储的一种形式，它一方面是从最初的数据源获得原始数据，按照决策的要求重新组织，形成具有不同粒度的综合数据层。另外，数据仓库还需要对其中存储的数据进行操纵、管理等，以支持决策，这是数据仓库结构的另一方面。

1、数据仓库的自底向上结构

是从构造各个部门或特定的企业问题的数据市集开始，而整体性数据仓库是建立在这些数据市集的基础上。自底向上模式的特点是：初期投资少，见效快。因为它在构造部门市集时，只需较少的人做出决策，而所解决的是较小的商业问题。此模式可以使在数据仓库的开发初期尽可能少花费资金∞1。思想的核心从最关键的部分开始，先以最少的投资，完成企业当前需求，获得最快的回报，然后再不断补充，不断完善，通过从小做起，从部分做起，走逐步集成、逐步完善的道路，最终建立全局数据仓库。自底向上的结构如下图所示。

2、数据仓库的平行开发模式

    平行开发模式是在一个整体性数据仓库的数据模型的指导下，数据市集的建立和整体性数据仓库的建立同步进行。如下图所以，在平行开发模式中，由于数据集市的建立在一个统一的整体性数据模型的指导下进行的，可避免各部门在开发各自的数据市集时的盲目性，减少各个数据市集之间的数据冗余和不一致性。它满足了企业中的各个部门希望在较短的时间内建立本部门的决策支持系统的需求，使其不用等待整体性数据仓库建立好之后才建立属于自己的数据市集。

航空公司货运数据仓库系统的构建

数据仓库的构建：

    数据仓库系统开发平台描述：系统采用0racle9i数据库管理系统作为数据库开发平台，构建数据仓库系统。完成一个可以根据业务需要而创建的数据仓库。数据提取的结构图：描述了从业务数据存储系统，转存到操作数据区，然后到基础数据区，最后在基础数据区的基础上构建数据仓库的过程。如下图所示。

数据仓库逻辑模型

1、货运商品情况的逻辑模型

在设计中，为实现快速的分析查询，可以对航空公司建立数据查询分析的模型。

2、产销存逻辑模型

3、货运流向逻辑模型

数据仓库物理模型

   下图是一个星型数据仓库的物理模型。包括时间维度表，公司维度表，生产维度表，到货维度表。主要事实表包括：商品事实表，生产事实表。事实表中的ID号是为了加快查询速度，目的是对所有记录进行区分。维度表代表事实数据中的关系。

报表展现模块设计

数据仓库系统设计

    数据仓库是企业商业智能分析环境的核心，它是建立决策支持系统的基础。一个良好的数据仓库设计应该是构建航空公司CRM系统不懈的追求。

1、透彻理解数据仓库设计过程

基于数据仓库‘数据挖掘的航空货运分析型CRM心用研究现实需求决定系统需求，业务数据决定系统构架，最终使用的时候又必须作用于现实需求，同时通过决策的行为影响业务。那么可以把数据仓库的设计看作是前一部分，即“从实践中来”，数据仓库的应用可以看作是“到实践中去”。要完成6个任务：选择被建模主题的商业过程、确定事实表的粒度、区分每一个事实表的维和层、区分事实表的度量、确定每一个维表的属性、在DBMS中创建和管理数据仓库。

2、建立一个数据仓库需要经过以下几个处理过程：

(1)数据仓库设计

根据决策主题设计数据仓库结构，一般采用星型模型和雪花模型设计其数据模型，在设计过程中应保证数据仓库的规范化和体系各元素的必要联系。主要有以下3个步骤：

①定义该主题所需各数据源的详细情况，包括所在计算机平台、拥有者、数据结构、使用该数据源的处理过程、仓库更新计划等。

②定义数据抽取原则，以便从每个数据源中抽取所需数据；定义数据如何转换、装载到主题的哪个数据表中。

③将一个主题细化为多个业务主题，形成主题表，据此从数据仓库中选出多个数据子集，即数据集市(DataMart)。数据集市通常针对部门级的决策或某个特定业务需求，它开发周期短，费用低，能在较短时间内满足用户决策的需要。

(2)数据抽取模块

该模块是根据元数据库中的主题表定义、数据源定义、数据抽取规则定义对异地异构数据源(包括各平台的数据库、文本文件、HTML文件、知识库等)进行清理、转换，对数据进行重新组织和加工，装载数据仓库的目标库中。在组织不同来源的数据过程中，先将数据转换成一种中间模式，再把它移至临时工作区。加工数据是保证目标数据库中数据的完整性、一致性。

(3)数据维护模块

该模块分为目标数据维护和元数据维护两方面。目标数据维护是根据元数据库所定义的更新频率、更新数据项等更新计划任务来刷新数据仓库，以反映数据源的变化，且对时间相关性进行处理。更新操作有两种情况，即在仓库的原有数据表中进行某些数据的更新和产生一个新的时间区间的数据，因为汇总数据与数据仓库中的许多信息元素有关系，必需完整地汇总，这样才能保证全体信息的一致性。 

4、实验运行结果及其分析

1.生成数据仓库的过程函数

    数据仓库系统的实现是通过在DBMS上建立实现功能的存储过程程序，关键的存储过程程序未全部列出。下表列出了部分构建数据仓库时所用到的程序列表(事实表生成存储过程程序，维度表生成过程程序）。

2.部分维度表建立的程序说明：

服务商品维的存储过程：

DIMSERVICE商品维度表数据的建立：

l、描述：从基础数据区中的数据建立服务商品维度表数据记录

2、程序属性：程序名=DIM_SERVICE，ID=0103，State=Y

3、数据更新模式：重新建立

维的存储过程：

DIMCUSTOMER维度表数据的建立：

1、描述：从基础数据区中的数据建立维度表数据记录

2、程序属性：程序名=DIM_CUSTOMER，ID=0104，State=Y

3、数据更新模式：重新建立

公司维的存储过程：

DIMCOMPANY公司维度表数据的建立：

l、描述：生成公司维度表数据记录

2、程序属性：程序名=DIM_COMPANY，ID=0107，State=Y

3、数据更新模式：数据仓库建立时一次性写入记录值

(引数据元素值来源说明：此表数据没有数据来源

本表只有两行记录：

时间维的存储过程：

DIM—DATE时间维度表数据的建立：

1、描述：生成时间维度表数据

2、程序属性：程序名=DIM__DATE，ID=O101，State=N

3、输入参数：起始日期，终止日期

4、数据更新模式：数据仓库建立时一次性写入记录值

5、数据元素值来源说明：

(1)年维度元素记录：Dateyear=年份，YearDescription=“XXXX年”

(2)月维度元素记录：Datemonth=月份，MonthDescription=“XX月"

(3)日维度元素记录：Dateday=日，DayDescription=“XX同”

(4)全时间描述：年描述+月描述十日描述

销售维的存储过程：

DIM_SALES销售维度表数据的建立：

1、描述：从基础数据区中的数据建立销售维度表数据记录

2、程序属性：程序名为DIM__SALES，ID=0102，State=Y

3、数据更新模式：重新建立

3.系统运行机制设计

    系统采用三种配套性机制(Mechanism)应用于所有ETL程序运行架构中，目的是为了实现各程序之相依性(Dependency)，可被监督性(Monitor)，可被追踪性(Track)，以及时间一致性(TimeConsistency)。程序表清单：

    程序运行状态监控表：保存每个数据载入操作的执行状态，它可以提供给数据仓库的管理员或操作者哪个操作正在执行以及哪个操作失败了。日志机制：当有程序非正常中止，数据仓库的管理员或操作者可以通过查看Programreferencetable表中的数据，若某个状态为“F”(Fail)，找到发生错误的操作后，发生错误的程序的信息，正常运行提交笔数，程序起讫时间等信息，可在Audittailtable中找到。

2.基于OLAP技术的分析

OLAP在关系型数据库中的工作原理因为SOL的单语句并不具备完成计算的能力，要获得哪怕是最普通的计算功能也需要多重SOL。工作过程如下：

(1)用SQL做一些计算，然后将计算结果作为引擎的输入。

(2)引擎在机或中间层服务器上做大部分的计算工作，生成数据。

(3)终端用户访问结构中的数据，包括基础数据和数据。

当所有可能的数据聚合被预先计算时，存储需求可能是原始数据量的几百倍。通过结合智能的聚合选择方法，自动生成所有聚合组的一个子集，而剩下的聚合只在需要时快速生成。这样在不牺牲性能的基础上，有效地优化了存储。用户对某个应用所提取的数据其存储形式主要有：

(1)关系数据库(ROLAP)：数据被存储在关系数据库中。在大部分情况下，数据以星型结构或雪花结构进行存储。

(2)数据库(MOLAP)：数据被存储在服务器上的数据库中，包括来自关系数据库和终端用户的数据。

(3)采用混合模型(HOLAP)：结合MO-LAP和RO-LAP的优点，才能取得最优性

价比。

在实际应用中，采用Oracle9i作为关系数据库，用MSAnalysisServices作为分析服务器来开发WEB网站。

 3.分析结果

通过0LAP强大的分析功能，可以从各个角度分析航空公司的客户，而后清楚地掌握客户对公司所提供的货运服务商品的喜好情况。通过对客户收发货次数的分析，可以了解客户对公司的忠诚度。同时也能找出即将流失的客户。通过分析客户级别，可以更好地抓住大客户。

5、实验总结

1.小结:

1．航空货运业未来的发展与实施客户关系管理的关系。“谁拥有客户信息，谁就拥有未来。"在企业客户管理生命周期的各个阶段都会用到数据挖掘技术。数据挖掘能够帮助企业确定客户的特点，从而可以为客户提供有针对性的服务。通过数据挖掘，可以发现选择某一货运商品的客户的特征，从而可以向那些也同样具有这些特征却没有购买的客户推销这个商品。

2．构建了CRM系统的数据仓库，并在其上实现了分析。作为航空公司信息管理和查询系统，信息数据仓库把分散在航空公司内外的关于客户的信息集成起来，向公司及其员工提供关于客户的总体的、统一的看法。

3．利用OLAP技术对数据进行处理，初步应用到CRM系统中去，并以图表等形式展现出来，给企业决策者提供决策支持。重点研究了航空货运CRM，企业数据仓库的建立和在数据仓库之上OLAP和数据挖掘的初步应用。

2.不足:

在航空货运CRM中应用数据仓库及数据挖掘技术还存在一些问题，有待进一步的研究，主要问题如下：

1．作为数据源的航空公司信息资料，虽然量很多，但是有用的信息很少，而同时很多对决策起关键作用的属性字段却不完整，还没有建立一个全面、统一视角的数据仓库，这给数据挖掘的顺利开展增添了不少难度。

2．在航空公司数据库中应用数据挖掘，有可能产生数以千计的客户模式。对于航空公司来讲，许多客户模式是没有用处的。如何度量评估基于期望的客户模式价值，是一个值得进一步深入研究的领域。

3．通过数据挖掘建立的模型，对公司各部门的工作具有指导意义。但目前对航空公司数据挖掘的研究，更多的还是停留在理论和数据分析阶段，如何把模型与实践工作相结合，真正做到技术与业务相融合，还需要开展进一步的工作。

6、参考文献。

主要参考文献资料： 

[1] 纪希禹.数据挖掘技术应用实例[M].北京：机械工业出版社,2009.4  [2] 刘玉文.数据挖掘在高校招生中的研究与应用[D].上海师范大学,2008.3 [3] 陈显祥.基于学生综合测评系统数据挖掘应用研究[D]贵州大学,.2007.4 

[4] 王志浩.数据挖掘在招生信息处理系统中的应用研究[D]山东师范大学,2006.4 [5] 马冰冰.学生信息管理与数据挖掘的应用[D]山东大学,2008.4 

[6] 李庆香.数据挖掘技术在高校学生成绩分析中的应用研究[D]西南大学,2009.12 [7] 刘静. 数据挖掘技术在招生信息系统中的应用[D]北京工业大学,2006.2 

[8] 彭松坡. 数据挖掘技术在高校就业管理系统中的应用研究[D]浙江工业大学,2006.4 [9] 赵辉. 数据挖掘技术在学生成绩分析中的研究及应用[D]大连海事大学，2007.3