企业信息系统项目综合评价指标体系探究

企业信息系统项目综合评价指标体系探究

张玲玲1,2,佟仁城2

(1.中国科学院数学与系统科学研究院,北京 100080;2.中国科学院研究生院管理学院,北京 100039)

摘 要:本文分析了企业信息系统项目评价的特点,提出了在系统建设的各阶段对信息系统建设评价的必要性和评价指标体系建立的原则,并建立了评价过程的理论模型框架。然后在此基础上分阶段建立信息系统评价指标体系,并分析了每个阶段评价指标体系的特点、建立的目的和作用,并简单介绍了评价方法和技术。其中实施前评价指标体系和实施过程中的评价体系是作者在这个方面所做的探索。关键词:信息系统;评价;指标体系中图分类号:C931.9 文献标识码:A

收稿日期:2003-07-03;修改日期:2003-12-30

作者简介:张玲玲(1974-),女(汉族),河南洛阳人,中国科学院

数学与系统科学研究院,博士后,研究方向:信息系统与信息管理,ERI.

信息系统的建设和应用是企业信息化的中心环节,随着经济发展和技术进步,信息系统将在企业竞争中发挥越来越重要的作用。为了使信息系统真正担当其应有的角色,必须对信息系统建设的问题给以足够的重视。从信息系统实施的情况看,无论在国内还是国外,其成功率都很低。出现这种情况的原因有许多,其中之一就是评价指标体系的滞后和不完善,因此加强企业信息系统建设项目评价方法的研究,对提高信息系统建设的成功率,发挥其在现代企业中的作用,具有重要意义。

从查阅的文献资料看,对于信息系统评价或预测的研究主要集中在以下三个方面:第一,对信息系统经济效益的评价和预测,如日本企业采用第三利润概念来评价M IS 的经济效益;前苏联将投资经济效益系数作为衡量IS 经济效益的基本指标来测量系统运行后经济效益的提高等。第二,对信息系统本身的质量的评价,如复旦大学的王延清等(2001);第三,对信息系统进行多指标综合评价。考虑到信息系统是一个复杂的社会系统,因此,除了涉及费用、经济效益和财务方面考虑外,这种评价方法还涉及系统性能、系统建设、系统环境以及用户评价等,国内已有不少学者对此进行研究,如清华大学的侯炳辉教授(1993),电子科技大学的邵培基(2000),北方交通大学的徐维祥(2001),江西省计算中心的郑

明、季小云(1996)等等。

应该看到,不管是信息系统的经济效益评价、质量评价还是综合评价,都是对企业信息系统建设项目的一种后评价,其作用只是评价信息系统实施后是否给企业带来效益,是否满足企业需求,而很少涉及系统建设前、建设过程中的评价。本文试图根据信息系统实施的特点,分阶段建立评价指标体系,并在不同的评价阶段建立不同的评准则,以对实施过程进行评价并根据评价结果对实施过程进行实时、动态控制。

1 企业信息系统项目评价问题的界定

信息系统建设涉及投资者、经营者、管理人员、员工、顾客、相关企业和部门等多个主体,因此评价的角度可有多个。目前国内外企业信息系统建设的模式多采用购买软件,由软件提供商或咨询公司进行信息系统实施应用的形式,但无论从何种角度的评价,其目标是一致的。从提高成功率的要求看,站在应用者的角度建立评价指标体系是恰当的,本文拟从企业投资者的角度对企业信息系统建设项目评价指标体系进行研究,并分别对开发商、软件本身提出指标要求。

2 信息系统建设项目各阶段评价指标体系

的建立

2.1 实施前评价指标体系的建立

系统建设前的评价包括三个方面:必要性、可能性以及已开发软件的功能评价,评价的目的是对企

第12卷 第1期2004年 2月 中国管理科学Chinese Journal of Management Science

Vol.12,No.1

Feb., 2004

业的信息系统建设项目进行可行性分析,分析企业是否具备信息系统建设的条件,有无建设的必要,有无实现的可能,系统的功能是否适应企业经营管理的目标等。首先是必要性评价,从企业内部和外部两方面分析企业是否有必要进行系统建设,内部主要包括企业的业务对系统的需求、战略对系统的需求、IS 的应用将给企业带来的优势以及目前的IT 现状,企业外部因素主要包括竞争对手的IS 战略以及IS 在本行业的发展趋势等,从上述方面说明企业进行信息系统建设有无必要。在认为有必要进行系统建设的前提下,进行可能性评价,主要是对企业因素以及选择的开发商的评估,评价企业现有条件有无进行系统建设的可能性。在上述评价完成并认为

合格的前提下选择购买软件或系统开发,在实施开始前要对软件进行评价,包括软件的性能、对企业目标的实现的支持度等。

根据评价结果,判断企业是否具有实施信息系统的条件,如果不具备,则可以从计算过程中找出影响评价结果的主要因素,从分析这些具体因素入手,找出对最终判别影响最大的指标,通过对这些因素的具体诊断分析,找出信息系统建设的切入点;同时可以通过分析知道企业进行信息系统建设的优势和劣势,从而做相应的改善和调整,评价和判断。评价指标体系如图1示。值得注意的是,由于事前评价所用的参数大都是不确定的,都是预测的结果,所以

评价的结论具有一定的风险性。

96 中国管理科学 2004年

2.2 实施过程中指标体系的建立

实施过程中,对企业信息系统实施情况进行实时/阶段性的动态评价,主要目的是对实施过程进行实时监控,检测信息系略是否偏离企业的战略和目标,并对必要的内容进行调整。

企业信息系统的战略目标,通常都是现有的条件通过对未来的预测制定的,因而必然带有一定的不确定性,而且企业信息系统的战略实施,通常是一个较长的过程,这期间很可能会发生一些重大情况导致系略与企业战略不符,需要对项目的方案进行重新评价,以决定继续执行还是修改还是终止该方案。主要有以几种情况:项目方案在实施过程中,外部环境出现重大变化;由于人为因素发生一些偏离战略目标的情况;发现原先的方案有重大失误等。

评价是的依据,图2所示的实施过程评价

指标体系由4组指标组成,分别是战略匹配因素,实施效果因素、实施成本因素和进度控制因素。其中战略匹配因素又包括外部因素和内部因素,它在评价中将占有很大的比重,同时考虑由于成本、实施效果和进度控制因素。将预定目标与实际实施成效相比,检查偏差的程度,然后根据评价结果进行决策,评价结果存在三种情况,a)与企业战略相符,则继续实施过程,在到达某一阶段时重新监测;b)经过严密论证,由于外界环境等的变化,实施已毫无意义,这时要坚决终止项目的进行。c)基本吻合,但不完全,这时需根据具体情况,重新进行规划,进行战略纠正,但是一定要慎重,因为重新规划可能要对已经进行的实施工作有所改变,有可能要引起实施人员的反对,应尽量减少重新规划的可能性和范围;采用行

动进行纠正。

97 第1期 张玲玲等:企业信息系统项目综合评价指标体系探究

2.3 实施后综合评价指标体系建立

实施后评价是指在信息系统投入运行后,为了了解系统是否达到了预期目的和要求而对系统运行的实际效果进行评价。信息系统项目鉴定也是实施后评价的一种更为正规的形式。对于实施后的综合评价,国内外研究文献很多,作者在前人研究的基础上,针信息系统综合评价指标体系分为系统性能指标、系统建设指标和系统效益指标三个方面的评价,然后再对其进行综合评价。

系统性能评价主要包括实用性、正确性、适应性、可维护性和文档完备性等指标以及隶属于他们各自的子指标等;系统建设评价从用户角度对整个系统建设成效的一种评价,包括预期目标实现度、使用效果的好坏、用户满意度及资源利用率等指标;系

统建设效益指标包括经济效益、社会效益等,其中占

信息系统经济效益中很大一部分的无形经济效益,例如经营水平的提高、市场竞争能力的增强等,这部分效益显然客观存在,但是又很难用货币直接度量和估计。由于信息系统经济效益的广泛性、间接性和转移笥、相关性、递进性和迟效性、无形性和不可估性以及不确定性,使信息系统经济效益的评价具有较大的难度和重要性。

通过事后评价,一方面用户可以了解系统的质量和效果,检查系统是否符合预期的目标和要求,实施人员可以总结开发工作的经验、教训,这对今后的工作将十分有益。另一方面可评价信息系统建设给企业带来的效益,但是由于信息系统效益的滞后性,

评价要在系统应用一段时间后才能进行。

98 中国管理科学 2004年

3 评价方法及决策支持系统

由上述可以看出,企业信息系统建设与其他类型的项目建设有很大区别,具有如下特点:

(1)多层次、多指标、分阶段的复杂系统。涉及不同的评价阶段,每个阶段因素众多,且因素的描述方式不同,系统结构复杂、规模大,子系统和系统指标多,指标体系呈多目标、多层次结构。

(2)主观评价指标多。信息系统的评价指标除了后评价指标外多为定性指标,相当一部分靠主观评价得出。

(3)对专家的依赖性大。由于主观评价指标多,且每个阶段有不同的目标和侧重点,涉及企业、软件、咨询公司等不同领域、不同专业的因素,因此评价结果的科学性、准确性、正确性很大程度上取决于专家的素质、指标设计的合理程度、评估方法及专家权重。

因此,对企业信息系统建设这样一个复杂对象系统进行有效的综合评价,实际操作起来非常困难,存在如交互性差、计算烦琐以及评价专家选择、专家权重确定、专家打分、不同类型企业指标体系选择等问题,如果这些问题处理不好反会造成评价及控制在实践中推广困难,适得其反。针对上述问题:

第一,各阶段评价信息采用专家打分(或专家库)的形式获得,评价者由多个行业、领域和方向的

专家组成,各个评价阶段的侧重点不同,选择的专家

知识背景、专业方向也不同。如前期主要侧重于企业状况、规划状况、咨询公司及软、硬件等评价,而中期主要是对匹配度、实施效果、成本、进度等的评价,后期则主要是对系统实施后性能的评价。

第二,针对评价过程中评价指标多、层次多、阶段多以及对评价专家诊赖性大的特点,建立多层次、多指标、多专家、分阶段的企业信息系统建设评价模型M 3

G/IS,利用基于灰色评价、层次分析、模糊综合评判等多种方法的综合对其进行综合评价,并着重考虑专家权重的确定因素,M 3G/IS 综合评价算法步骤参见文献[3]。

第三,为增加评价的可操作性,在评价指标体系和评价方法的基础上,以DSS 理论方法为基础,综合运用人工智能(Artificial intelligence AI)、灰色评价理论以及人工神经网络理论,将专家(群体)的经验知识、评价指标的数据信息、多种综合评价方法、相关的先进技术、计算机软硬件等有机结合起来,构成一集成式智能化信息系统建设评决策支持系统(ISCESS),此系统由智能人机接口、系统总控模块、指标体系形成系统、综合评价系统、评价决策支持系统等模块组成(如图4),不仅增加可操作性,而且可作为计算机辅助评价和决策的工具,模块功能参见文献[3]

。

4 结论

本文所做的工作体现在以下几个方面:

第一,结合信息系统建设项目的特点,全面分析了信息系统建设项目评价的特点,提出了分阶段对信息系统建设评价的必要性和可能性。

第二,提出了信息系统建设项目评价指标体系建立的原则。

第三,分阶段建立信息系统评价指标体系,并分析了每个阶段的特点及各评价指标体系建立的目的和作用,其中实施前评价指标体系和实施过程中指

标体系的建立是作者在这个方面所做的探索性工作。

第四,评价方法及决策支持系统简介。参考文献:

[1]Jurg e Bode.Decision Support w ith N eural N etw orks in the

M anag ement of Research and Dv elopment:Concepts and A pplication to Cost[J].Infor matio n &M anagement,1998,134:33-40.

[2]R.K horr amshagol:An I ntegrated Approach to Project E

valuat ion and Solution[J] IEEE on EM ,1988,35.

99 第1期 张玲玲等:企业信息系统项目综合评价指标体系探究

[3]张玲玲.企业信息系略管理及支撑技术研究[D].北

京:北京航空航天大学,2002.

[4]邵培基.AHP 方法综合评价管理信息系统[J].系统工程

理论与实践,2000(10):63-67.

[5]徐维祥,张全寿.从定性到定量信息系统项目评价方法

研究[J].系统工程理论与实践,2001(3):124-127.[6]郑明,季小云.管理信息系统综合评价[J].计算机与现

代化,1996,48(4):25-27.

[7]王旗林,黎志成.信息系统成本测算方法[J].中国管理

科学,2001,9(2):57-61.

[8]石赘,陈国清,等.信息管理中的关键因素[J].中国管理

科学2000,8(3):63-69.

[9]赵国杰.姜福洋.CM S 绩效评价指标体系与方法研究

J].管理工程学报2001,15(3):20-23

[10]杨超.企业信息系统的战略管理研究[D].武汉:武汉大

学,1999.

Study on Comprehensive evahuation Index System for Information System of Enterprise

Zhang Ling -ling 1,2,TONG Ren -cheng 1

(1.School of M anag ement of Gr aduate Schoo l of the Chinese A cademy of science,Beijing 100039,China;2.Academy of M athematics and Systems Science of the Chinese Academy of Science,Beijing 100080,China)

Abstract:This paper analyzes specialities of the information system building,and puts forth necessities and prin ciples of evaluating in per stag e.Based on that,a theoretical model framew ork and evaluation index system is builded.This paper also analyzes the characteristics,purposes and functions of evaluation index system of per stag e,especially of the fore-implementation and mid-implementation is tentative.Key words:information system;evaluate index system

100 中国管理科学 2004年