TR-REC-0 数据质量评测方法与指标体系

文档编号 TR-REC-0

中国科学院数据应用环境建设与服务

数据质量评测方法与指标体系

（征求意见稿）

中国科学院数据应用环境建设与服务 项目组

2009年9月前言

本规范是“中国科学院数据应用环境建设与服务”之标准规范建设成果之一。 本规范由中国科学院计算机网络信息中心科学数据中心提出并归口。

本规范由中国科学院计算机网络信息中心科学数据中心负责起草。

目 录

1 范围 (4)

2 规范性引用文件 (4)

3 应用 (4)

4 术语 (4)

5 数据质量评测制度 (5)

6 数据质量评测原则 (5)

6.1 科学性原则 (5)

6.2 客观性原则 (5)

6.3 系统性原则 (5)

6.4 可操作性原则 (6)

6.5 针对性原则 (6)

6.6 引导性原则 (6)

7 数据质量评测一般流程 (6)

7.1 数据质量需求分析 (7)

7.2 确定评价对象及范围 (7)

7.3 选取数据质量维度及评价指标 (7)

7.4 确定质量测度及其评价方法 (8)

7.5 运用方法进行评价 (8)

7.6 结果分析及评级 (9)

7.7 质量结果及报告 (9)

8 数据质量评价主体的要求 (9)

9 数据质量指标体系 (10)

9.1 数据质量结构 (10)

9.2 主要数据质量指标 (11)

9.2.1 基本层 (12)

9.2.2 准则层 (13)

9.2.3 评价指标选取的基本要求 (16)

9.2.4 评价指标的筛选和权重 (16)

9.2.5 评测指标的冲突处理原则 (17)

10 数据质量评测方法 (18)

10.1 定性方法 (18)

10.1.1 第三方评测法 (19)

10.1.2 用户反馈法 (19)

10.1.3 专家评议法 (20)

10.2 定量方法 (20)

10.2.1 访问量统计 (20)

10.2.2 计算机辅助检查 (21)

10.3 综合方法 (21)

10.3.1 层次分析法 (21)

10.3.2 缺陷扣分法 (26)

数据质量评测方法与指标体系

1范围

本规范明确了用于中国科学院数据应用环境建设与服务项目中数据（资源）质量评测的一般方法与数据质量指标体系的建立方法。

本规范所提供的流程、方法和指标可适用于中国科学院数据应用环境建设与服务项目中建库单位内部的产品质量评价，日常统计监测制度，以及专家委员会领导下的项目质量检查。本规范提供的评测方法与指标体系适用于数据资源（包括中间产物），不包括对数据生产与服务过程的评测。

2规范性引用文件

下列文件对于本文件的引用是必不可少的。凡是注日期的引用文件，仅所注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。

TR‐REC‐061 数据应用环境建设与服务标准规范框架

3应用

本规范所提供的流程、方法与指标均为通用性内容，意在面向不同规模、不同学科背景和不同数据类型的各类数据库提供适应性，在执行过程中评测方可根据实际情况适当增删评测流程，并决定具体的指标体系和采样方法。

4术语

本规范所使用之术语遵循《TR‐REC‐061 数据应用环境建设与服务标准规范框架》第七部分的约定。

5数据质量评测制度

为确保科学数据信息资源管理与使用的有效与安全，最大限度保障投资者的利益与建设者的劳动，促进科学数据资源的共享利用，“中国科学院数据应用环境建设与服务”项目要求项目内数据库应建立数据质量评测制度。

“中国科学院数据应用环境建设与服务”项目资助建设的数据资源，应在项目结题前达到本规范提出的质量要求，并接受项目质量检查。

此外，建库单位应当根据具体情况适当开展以本标准为依据的日常数据质量监测统计。

6数据质量评测原则

科学数据质量评价应注重以下原则：

6.1科学性原则

质量评价的结果应能正确反映数据资源的质量状况。主要体现在正确的质量指标选择，以及采用科学合理的评价方法等方面。评价必须有一定的理论作为基础，但又不能够脱离实际。另外，科学性还反映适度的简单，评价不可能穷尽所有因素，也不能过于简单。

6.2客观性原则

评价应是符合实际、客观可信的。评价指标的选择须考虑当前数据资源环境的总体水平，反映出不同学科领域的差异。

6.3系统性原则

由于评价对象的广泛性、复杂性、必须使用若干指标来衡量，同时指标间可能相互联系、相互制约。但是，在评价中，每个指标又必须是的，不互相包容的，需考虑指标的层次性、系统性，避免指标间冲突。

6.4可操作性原则

科学合理的评价体系应该是可行的、操作方便的，指标的设计避免过于繁琐，还要考虑指标体系所涉及指标的量化及数据获取的难易程度和可靠性，注意选择能够反映科学数据质量状况的综合指标和具有代表性的指标。

6.5针对性原则

科学数据资源种类繁多，数据积累具有续性，各种资源除了具有与其他资源相同的共性之外，也具有其自身的特殊性。数据质量评价应能充分考虑各类科学数据资源所特有的类型特征并能将其揭示出来，要在指标的权重和分值上予以区分，以体现其针对性的导向作用。

6.6引导性原则

进行科学数据质量评价，目的在于了解科学数据资源的质量情况，为有关的取舍提供判断依据，以帮助用户快速选择有针对性的信息。因此，必须以方便专业人员快捷而有效的选择和获取有价值的信息资源为导向。

7数据质量评测一般流程

科学数据质量评价过程是评价者将数据质量评价程序应用于目标数据或数据集并最终获取评价对象质量状态的一系列步骤。本规范提出科学数据质量评价的一般流程，具体于一个具体的执行过程中根据数据对象或学科背景有所不同仍可根据具体情况适当增删。

科学数据质量评价包括以下一般流程：

数据质量评测一般流程

数据质量评测过程是一个迭代过程，各个过程的先后顺序仅表达阶段活跃的大致顺序，根据实际执行情况的好坏决定，一些过程可能需要重复执行。

7.1数据质量需求分析

对科学数据的数据质量评价是以用户为中心进行的数据质量评价。数据需求是人们在各项实践活动过程中，为解决所遇到的问题而产生的对数据的不足感和求足感。数据资源不同于实体产品，具有用途个性化、多样化、不稳定等特点，因此，必须首先了解用户针对特定数据资源的需求特征才能建立针对性的评价指标体系。

7.2确定评价对象及范围

确定评价对象及其范围，评价对象既可以是数据项也可以是数据集。

7.3选取数据质量维度及评价指标

数据质量维度是进行质量活动中客体的具体质量反映，如正确性、准确性等，它是控制和评价数据质量的主要内容，因此，首先，要确定影响质量维度的因素有哪些，如人员素质、设备、设施等，必要时，要将这些质量影响因素在评价报告中进行分别说明。对于有些影响多个质量维度的因素，应在具体情况下根据需要进一步细化其影响因素，或针对进一步细化目标环节在确定质量行为中的影响因素。另外，要选取可测、可用的质量维度作为评价指标准则项，在不同的数据类型和不同的数据生产阶段，同一质量维度有不同的具体含义和内容，应该根据实际需要和生命阶段确定质量维度。

在此阶段要注意指标之间避免冲突，同时也要注意新增评价指标的层次、权重问题，以及与其它同层次指标的冲突问题。对三级评价指标的选择可根据评价对象的类别、评价要求进行量化处理，必要时可进行计量评价法。以当前技术条件无法量化的质量维度可适当使用具有相关性的替代指标。

7.4确定质量测度及其评价方法

数据质量评价在确定其对象范围后，应该根据每个评价对象的特点，确定其测度及实现方法，对于不同的评价对象一般是存在不同的测度的，以及需要不同的实现方法支持，所以应该根据质量对象的特点确定其测度和实现方法。常用定性方法和定量方法，前者采用权重打分等方法进行，后者依据信息生产各阶段的质量规范一级缺陷判据进行。

7.5运用方法进行评价

就是根据前面四步确定的质量对象、质量范围、测量及其实现方法实现质量评测的活动过程。评价对象的质量应当由多个质量维度和三级评价指标的评测来反映，单个数据质量测量是不能充分、客观评价由某一数据质量范围所限定的信息的质量状况，也不能为数据集的所有可能的应用提供全面的参考。多个质量维度和三级评价指标的组合能提供更加丰富的信息，故对某数据质量范围限定的信息，应提供多个质量维度和三级评价指标的综合测量。

数据质量评测过程中应保证所采用的方法的正确和客观，尽量避免增加质量评价的干扰因素，最大程度的借助计算机及网络技术的自动化处理实现，追求全面客观的反映数据质量的真实情况。特别对于定量的质量维度，要确定科学的定量测量的指标和方法，质量测量应当保证其所涉及的数据边界范围、系统参数等的正确和完备性。

7.6结果分析及评级

评测后要对评测结果进行分析：

z对评价目标与结果进行对比分析，确定是否达到评价指标；

z对评价的方案的有效性进行分析，确认是不是合适等。

之后，根据评价结果确定对象的质量评价，如需要，可根据评价结果鉴定质量级别。确定评价对象的质量级别是建立在相应的质量分级方案基础上的，该分级方案是根据相应的质量规范或用户的需求确定的，也是判断数据质量成熟度的重要依据。

7.7质量结果及报告

质量评价结果和评测报告是所有科学数据质量评价项目及其评测结果的合集。

在完整的数据质量评价结果和报告中，应该包括全部上述内容。此外，在数据质量评价报告中还应该把据此进行的评价过程的操作做出完整的记录，包括存在的质量级别的内容确定等。

8数据质量评价主体的要求

评价主体是否具有专业的评价知识和科学的方法，对评价结果具有很大的影响。本规范认为，数据质量评价实施方应达到如下要求，评估结果才能被专家委员会认可：

z评估组领导者必须是专家委员会认可的专家委员会委员；

z评估组至少应有四人；

z工程经验：整个小组在被评估学科领域总共至少有10年的工作经验；

z管理经验：整个小组总共至少有10年管理经验；z被评估组织过程的相关领域，至少有两位相关专家；

z评估小组成员不能是参加评估项目的管理者，其直接管理者或其他利益相关人员。

9数据质量指标体系

质量维度是指数据满足用户要求和使用目的的基本质量特性，是一个数据约束的类型，如完整性、一致性等。

数据质量是一个度的概念，可能涉及数据产品及其生产服务过程的多个方面，本身不可测度。一般而言，对数据质量的认识通过将其分解为多个质量维度，并逐个识别实现。

数据资源不同于实体产品，具有用途个性化、多样化、不稳定等特点。当前普遍的观点认为，数据质量要素受行业领域、数据类型和应用目的等因素的影响极大，不存在面向所有学科领域和资源类型的普适性数据质量指标体系，但针对一个具体行业背景下的特定数据类型，建立一组受到公众认可的质量维度和指标体系并指定其采集方法是完全可行的。

值得注意的是，数据质量的总体水平往往与其在质量因素中的短板关系更加密切，而对个别质量维度的测量可能不能正确反映数据资源的质量水平，在质量评价活动中质量指标体系的建立应在保持可行性的前提下尽可能周全。

9.1数据质量结构

数据质量的结构特性学术上目前仍无定论，为出于便于管理的需要，本规范根据科学数据以及质量需求的特征，将数据质量评价要素划分为基本层、准则层和指标层三层。

数据质量三层结构 其中：

指标层次 适用范围

基本层 该层提出适用于对所有科学数据进行评价的通用指标，通用指标归纳大部分科学数据共有的本质特征，以及普遍的技术特征，是数据质量评价的基本指标

准则层 该层根据科学数据的学科内容特性提出适用于特定学科领域范围的质量指标，准则层是对基本层质量指标面向特定学科领域的细化指标，要求根据领域特点细化质量评价指标并分配权重

指标层 该层根据科学数据的资源类型不同提出适用于特定数据类型的质量指标，指标层是对准则层提出质量指标根据资源类型不同提出具体质量评测执行方法，要求根据资源特点指定评价指标评测方法

9.2主要数据质量指标

基于上述层次结构，本规范提出一组科学数据质量评价常用指标，供评价方在科学数据质量评价过程中选择使用。

鉴于科学数据对象范围的复杂，本规范提仅将基本层质量指标作为要求性内容；而准则层指标为参考性内容，仅供评价方参考；未对指标层的具体执行方法进行约束。具体的指标选取、权重确定和使用的评价方法由评价方与建库单位在实施检查时依照质量评价流程确定。

主要数据质量指标

9.2.1基本层

基本层对数据质量，按照数据的形式、内容和效用，即语法、语义和语用的不同层面，对其内在结构从形式、内容和效用三个层次来认识。

质量指标 说明

形式质量 语法层次的数据质量。语法层是最基本的层次，是以数据的形式特征为依据秩序化数据的方法，关于主题之间的数据形式的一致认同性：形式上的

数据质量主要基于数据的基本结构要素来反映数据的形式方面的质量特

征。考察处于不同时空环境下的数据主体之间对数据载体和表达方式三方

面来认识，如：载体是否可以被数据用户感知和利用、表达数据的符号是

否可以被用户识别并准确理解、数据表达是否采用了主体一致认同的结构、

格式和规范。

内容质量 语义层次的数据质量。语义层面向客体事物，关注数据对描述对象事物状态与变化的表述程度，主要通过把握数据的一些内在质量维度来反映数据

的内容方面的质量特征，需要遵循客观性原则、逻辑性原则和发展性原则。

语义层次的数据质量是基于数据内容认识来考察数据对事物状态的表述程

度。而反应事物运动状态极其变化的数据是一个集合体，本体论层次的实

物信息是其全集，认识论层次的数据形成其不同的子集。语义层次的数据

质量不仅应考察个体信息对事物状态的表达程度，还应考察数据集合对事

物状态的表述程度。对个体信息而言，主要是信息的真实性、准确性和时

变性；对于集合数据而言，一般还包括信息的相关性、可比性和顺序性。效用质量 语用层次的数据质量。语用层次是以前两者为基础，通过对数据的有用性等来把握。语用层则面向数据用户，关注数据对用户的效用。需要遵循目

的性原则、实用性原则和个性化原则。考察数据产品对数据用户的效用和

价值，其数据质量考察数据满足数据用户需求的程度。对于个体数据而言，

主要是数据的有用性、重要性、精确度、时限性、有效性；对于集合数据

而言还包括数据的完整性、适量性等。

9.2.2准则层

不同学科背景下使用的数据质量指标通常各不相同，本小节列出的准则层指标仅为科学数据质量评价活动中常见的质量指标，不保证其完备与权威，供参考使用，具体于一次评价活动中使用的质量指标仍需按照质量评价工作流程由评价方做出决定。评价方不应因本小节的列举而回避使用本规范以外的其他更加适用于数据资源的质量指标。

质量指标 说明

基本层 准则层

可获得性 可获得性就是数据资源的结构和形式与自然和社会实践相结

合的程度。

常用评价因素：

z信息的方便获得对信息用户很重要

z在数据库中需要很费劲才能找到所需数据

z所需信息应能很快检索到

z系统中还有很多所需信息不能自动、快捷查到，查全率不

高

z信息检索（或查找）流程简洁、清晰

一致性 数据的一致性是指同一个数据在同一时刻只有一个值，如果数

据没有重复，就不会出现不一致。如果是系统可控制的数据重

复，那么系统就会确保在更新（增加、删除或修改）时的一致

性。

常用评价因素：

z经过加工整理前、后的信息（数据）经常出现不匹配、不

一致

z信息集合内各个个体信息之间经常有冲突（例如某一指标

有多个数值，多个版本；编码相同但信息实体不同等）

z普遍存在的相同信息实体使用不同的表达符号或不同的

描述名称的情况

可理解性 可理解性是指阅读并理解数据资源编码的难易程度

常用评价因素：

z科学数据（内容、格式等）清晰易懂

z提供的数据非常容易判断出是否符合需要

z科学数据描述有太多专业术语难以明白，影响信息使用

z对信息描述、分类及编码等的不规范性易造成对信息难以

理解

z用户对共享数据的技术规范、质量控制标准的了解、熟悉

有助于信息理解

完整性 是指数据库中数据的正确性和相容性。数据库完整性由各种各

样的完整性约束来保证，因此可以说数据库完整性设计就是数据库完整性约束的设计。

常用评价因素：

z信息（信息要素）尽可能完整对共享信息很重要

z科学数据记录格式、条目不完整

z数据库内普遍存在信息要素残缺、不完整的情况

z检索到的信息内容完整性应能够满足所需查找要求

z目前可检索到的有价值科学数据量仍然不够

内容质量 准确性 准确性也可称为精确性，也有两层含义：一是数据所指内容对

数据所指对象的反应、表现是否准确及其准确程度；二是数据

形式对数据内容的表述、表达是否准确及其程度。

准确性是一个关键的质量维度。

文本型数据的准确性可以通过语句复杂度、对象数目和对象值

三个参数描述。

图像型数据的准确性定义为数据与其源数据在其所表达的基

本内容意义上的一致性或接近程度。

常用评价因素：

z提供的信息准确无误

z数据的表述（或值）很好地反映源信息的真实状态

z信息（数据）的表述不会引起歧义

z经过加工整理后的信息（数据）表述不够准确，与原始信

息有较大误差

z信息（数据）的表述（或值）与实际误差在可接受的范围

内

正确性 正确性是指数据所指内容是否真实反映、表现出了数据所指对

象的实际状况及其程度

常用评价因素：

z提供的信息（数据）符合信息质量控制标准或规范

z采集、传递、加工和整理后的信息（数据）偏离标准误差

大

z有专门机构（或专业人员）审核检查信息的正确性

z有必要的程序或反馈流程来监测、修改信息的正确性

z对目前提供的信息（数据）的正确性不太满意

客观性 客观性是指数据采集和生产过程中是否受到主观因素影响以

及被影响的程度

常用评价因素：

z科学数据应符合所述事实

z提供的数据应经得起再验证

z存在虚假的数据

z信息提交前信息内容没经过专家或专业人员的质量审核，

造成与事实偏差

有效性 有效性是指数据对用户需求的满足程度

常用评价因素：

z数据的有效性对其共享使用非常重要

z能查询到最新的数据z查询到的科学数据满足当前的工作任务

z查到的结果比要求的还要好很多

z更新的信息与原信息没有区别标识

可靠性 指数据的“可信赖的”或“可信任的”程度

常用评价因素：

z数据来源标注齐全且真实可靠

z数据来源标注普遍不齐全

z对来源清楚的信息可以放心采用

z加工编辑过的数据基本可靠

效用质量 相关性 指数据与用户需求匹配的程度

常用评价因素：

z查找到的信息与主题不完全一致，但却是其中的某一方面

的阐述

z查找到的信息集合多数在用户需要的检索主题内

z提供的信息主题与用户检索主题意思匹配

z查找到的信息（数据）多数和用户需要信息无关

z信息必须要和用户需求（目的）有相关性

有用性 指数据的内容与用户需求匹配的程度

常用评价因素：

z信息能过帮助解决问题

z一般经过加工、整理过的信息可用性较好

z数据具有增值性

z数据是对传统文献科技信息的有用补充

背景性 指数据资源是否提供背景资料以及背景资料的充分程度

背景资料包括元数据，用户使用手册等

常用评价因素：

z了解信息的背景资料对信息使用很有必要

z提供的科学数据有必要的背景资料说明

z所查询的数据库有完备的元数据信息说明

z所查询的数据库有清洗的信息加工、整理的数据质量说明适量性 指查出的数据是否足够用户使用，以及是否远多于用户需求的

数量等

通常表现为查准率、查全率、冗余等

常用评价因素：

z检索到的信息有多余的、与要求不符的数据

z重复信息很多

z信息过量容易对信息吸收造成负荷（时间、精力、消耗）

z查询到的信息越多越好

z目前查找的信息量能足够满足要求

及时性 指数据的更新服务是否及时

常用评价因素：

z服务是否稳定，响应是否及时

z用户反馈的问题能否及时得到解决

z存在过时的数据z是否经常更新，更新是否及时

z查询所花的时间和精力是否好过预期

9.2.3评价指标选取的基本要求

评价方决定一个学科领域内的科学数据质量指标时，应遵循以下原则： z指标选取要有系统性，以保证综合评价的全面性和可信度；

z指标应意思明确，含义明确，不产生歧义；

z选取的指标要有可测性，数据资料收集方便，计算简单，易于掌握。测量方法要长期保持有效；能被客观测量，而且能把数据质量在时间上做

一个比较；

z指标之间应进肯能避免明显的包含关系和相互冲突。对隐含的相关关系和相互冲突的指标，在模型中加以适当的消除和取舍；

z指标的选择要保持同趋势化，以保证可比性；

z指标设置要有重点，抓住主要因素。

9.2.4评价指标的筛选和权重

评价指标是总体评价目标的具体体现，是评价目标的具体分解。不同学科背景的指标选择与权重侧重均应因对象不同而有所区别，但每个指标都应从一定的角度或侧面反映评价目标，与评价目标紧密相关，同时指标总体堆目标应具有足够的覆盖面，与评价目标保持高度的一致性。

评价指标的选择应与科学数据的主要质量特征基本一致，最注重的应是科学数据的真实性、可达性和实用性方面的指标。

对于学科领域数据质量评价指标的分析主要通过专家调查分析法确定： z首先通过统计分析得出适用频次较多的数据质量维度，结合学科领域数据资源的特点，选择若干个维度进行统一定义；

z其次，从项目中对数据质量实际感知程度和理论认为重要程度两方面进行问卷调查，打分采用1‐9等比标度法；

z结果处理：将专家打分汇总，分别去除一个最高分和一个最低分后，进行总平均，得到每项指标的权重；

z根据实际情况截取权重最高的一定数量指标作为实际使用的评价指标，并根据数据资源的类型决定其测量方法。

分析评价指标及其权重使用的专家调查表格式如下：

质量指标 定义

您认为这项指标

的重要程度

您认为在这方面

的表现如何

不重要 重要差 好

准确性 数据所述状态对源事物状态的表达准确程度 1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9

正确性 数据内容符合事实或被认为正确的道理 1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9

有用性 指数据是否对用户有用 1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9 …… …… 1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9 …… …… 1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9 …… …… 1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9 …… …… 1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9 …… …… 1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9 …… …… 1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9 …… …… 1 2 3 4 5 6 7 8 9 1 2 3 4 5 6 7 8 9

9.2.5评测指标的冲突处理原则

目前学术研究对数据质量维度指标并无定论，本标准要求的评价指标的分级与分类仅为实施评价活动而人为划分，因而有时会遇到指标间相互冲突的情况，对指标冲突的处理应遵循以下原则：

z评价的有效性和评价的简便性矛盾之间应在满足有效性的基础上，尽可能简化；

z指标的精确性和真值表的可信度矛盾之间，评价应尽可能精确，但目前有些指标不能做到很精确时，应保证指标的可信性，可请专家给出定性

描述；

z指标的系统性和指标的可获得性矛盾之间。因为指标体系要包括各个方面的许多因素，有些指标不易获得和不易测度，不能满足评价所需的全部数据。因此在建立指标体系时，对若干与评价关系不大的指标，虽然

目前尚无法获得数据，仍以建议指标中提出，以保证评价指标体系的科

学性和系统性。

z在评价数据质量时存在准确性和可操作性之间的矛盾问题。从原则上讲，评价应保证一定的准确性，并具有一定的可操作性以使评价者依据评价

指标能在相对统一的尺度上展开评价。但准确性与可操作性往往是矛盾

的，并不能同时实现。因此可将评价指标体系考虑不同的要求，划分层

次。

10数据质量评测方法

科学数据质量评价方法主要分为定性和定量方法。定性方法主要依靠评判者的主观判断。定量方法则为人们提供了一个系统、客观的数量分析方法，结果较为直观、具体。

10.1定性方法

定性评价方法一般基于一定的评价准则与要求，根据评价的目的和用户对象的需求，从定性的角度来对科学数据资源进行描述与评价。确定相关评价准则或指标体系，建立评价准则及各赋值标准，通过对评价对象大致评定，给出各评价结果，评价结果有等级制、百分制或其他表示。

定性评价标准因专业领域、学术水平和课题研究的任务等差别而因人而异，无法强求一致。定性方法的主体需要对学科背景有较深的了解，内容分析一般应由学科专家或专业人员完成。

采用定性评价方法进行评价时，一般先根据评价的目的和服务对象的需求，依据一定的准则与要求，确定相关评价标准或指标体系，建立评价标准及各赋值标准，再通过评价者、专家和用户打分或评定，最后统计出各数据库的评价结果。 定性方法的缺陷

z评价指标体系本身的合理性

z评价的滞后性

z评价结果的适用性

z问卷调查评价结果的可信性

10.1.1第三方评测法

第三方主要是相对于管理方、建库单位以及信息用户而言，是由第三方根据特定的信息需求，建立符合特定信息需求的数据质量评价指标体系，按照一定的评价程序或步骤，得出数据质量评价结论。第三方评价方法目前一般采用特定评价方法，其核心在于选择合理和科学的评价指标体系，这决定了定性评价的客观性、公正性、合理性和科学性。

第三方评价方法存在的缺陷包括：

z第三方评价法的效果取决于评价指标和方法过程选择的客观性、合理性，但评价本身往往具有主观性，从而会影响评价结果的客观性；

z存在着科学数据信息的动态性与易变性和第三方评价法的静止性与方法单一性的矛盾，使得数据质量评价工作往往滞后于实际情况的变化；

z评价指标一般具有普遍性，没有深入考虑科学数据专业学科领域各个信息资源的特点和特定的信息用户的需求。

10.1.2用户反馈法

主要是由评价方向用户提供相关的评价指标体系和方法，由用户根据其特定的信息需求从中选择符合其需要的评价指标和方法来评价信息资源。在这种方法中，评价机构仅将其所选择的指标体系和评价指南告知用户，帮助或指导用户进行数据质量评价，而不是代替用户评价。

此法一定程度上会增加用户的负担；用户不是专业机构承担资源发现和评价职责，在一定程度上影响了数据质量的深入、准确认识，容易产生偏差。

10.1.3专家评议法

通常是由给定科学领域的若干专家组成的评判委员会来评价科学活动或其结果的一个过程。

同行评议的优势是，专家替代了科学外行，拥有了对学术问题的决策权。专家评议是科学研究管理中一项非常重要的制度安排。专家评议应该贯彻的原则是：公开性、公正性、可靠性、效用性和经济性。

10.2定量方法

定量评价方法是指按照数量分析方法，从客观量化角度对科学数据资源进行的优选与评价。定量方法为人们提供了一个系统、客观的数量分析方法，结果更加直观、具体，是评价科学数据资源的发展方向。但目前科学数据资源进行定量评价的实例较少，一般局限于访问次数、登陆、链接和被链接等情况的探讨。 定量评价方法缺陷

z量化的标准过于简单和表面化，往往无法对信息进行深层次的剖析和考察；

z统计方法本身存在技术上的缺陷；

z对学术性的科学数据价值高的数据共享平台不完全适用。

10.2.1访问量统计

基于网络用户对数据库的登陆、访问情况，依据网络流量对数据库进行评价，这类似于对传统印刷性出版物发行量的统计。比如定期统计每个数据库的访问量、用户IP地址分布及下载量等，并依此对数据库优劣进行排序。

访问量统计的出发点是认为在一段时间内用户访问数据库的数量可间接反映数据库享信息的重要性，当然这种方法也存在其局限性，访问量对数据质量的体现并不是完全准确的；而且根据以往的经验，访问量统计更加适用于一些规模、类型相似的面向大众网络资源，如门户网站等，而对于专业性很强的学术类科学资源时往往不容易得到很好的效果。

10.2.2计算机辅助检查

将一部分重要数据质量指标的评测方法借助计算机程序实现，通过部署运行这些工具直接取得数据资源的质量参数。

计算机辅助检查的优点是可以得到数值结果，客观性较强。但目前阶段可以借助计算机进行检查的质量指标还非常有限，适用范围比较小，而针对不同类型的数据资源时所使用的采集和计算方法通常也会存在差异，并且一些质量指标彼此之间具有一定的相关性，而计算机往往不能察觉这些相关性，计算机辅助检查用于横向比较时很容易引起诟病。

10.3综合方法

综合方法将定性和定量两种方法有机地集合起来，从两个角度对科学数据资源质量进行评价。

10.3.1层次分析法

该方法的核心是对评价对象进行优劣排序、评价和选择，从而为评价主体提供定量形式的评价依据。AHP法首先将复杂的问题分解成若干层次，建立阶梯层次结构，然后构成判断矩阵，进行层次单排序一致性检验，最后进行层次总排序和一致性检验，得出结论。

层次分析法充分利用人的分析、判断和综合能力，适用于结构较为复杂、评价准则较多且不易量化的问题，具有高度的简明性、有效性、可靠性和广泛的适用性。但也有其局限性，主要表现在其结果只是针对准则层中的要素，人的主观判断对结果的影响较大；并且在对综合型数据资源进行评价时，针对不同的主题和学科背景的数据资源，许多方面的性质不具可比性，可移植性较差；同时，层次分析法使用比较复杂，运用具有一定的滞后性，不适用于频繁进行的数据质量评价活动。

层次分析法的基本步骤

z将复杂的研究问题概念化，找出研究对象所涉及的主要因素；

z分析各因素的关联、隶属关系，构建有序的结题层次结构模型；

z对同一层次的各因素对上一层次中某一准则的相对重要性进行两两比较，建立判断矩阵；

z由判断矩阵计算被比较因素对上一层该准则的相对权重，并进行一致性检验；

z计算各层次相对与系统总目标合成权重，进行层次总排序。

层次分析法使用范例：干部评估

确定主要因素

对三个干部候选人y1、y2 、y3，按选拔干部的五个标准：品德、才能、资历、年龄和群众关系

构成层次分析模型

构造成对比较矩阵

比较第 i 个元素与第 j 个元素相对上一层某个因素的重要性时，使用数量化的相对权重aij来描述。设共有 n 个元素参与比较，则称为成对比较矩阵。

成对比较矩阵中aij的取值可按下述标度进行赋值。aij在 1‐9 及其倒数中间取值。

z aij = 1 元素i与元素j对上一层次因素的重要性相同；

z aij = 3 元素i比元素j略重要；

z aij = 5 元素i比元素j重要；

z aij = 7 元素i比元素j重要得多；

z aij = 9 元素i比元素j的极其重要；

z aij = 2n 元素i与j的重要性介于aij = 2n − 1与aij = 2n + 1之间；

z，n=1,2,...,9 当且仅当aij = n。

选拔干部考虑5个条件：品德x1，才能x2，资历x3，年龄x4，群众关系x5。决策人用成对比较法，得到成对比较阵如下：

作一致性检验

从理论上分析得到：如果A是完全一致的成对比较矩阵，应该有

aijajk = aik

但实际上在构造成对比较矩阵时要求满足上述众多等式是不可能的。因此退而要求成对比较矩阵有一定的一致性，即可以允许成对比较矩阵存在一定程度的不一致性。

检验成对比较矩阵 A 一致性的步骤如下：

z计算衡量一个成对比矩阵 A（n>1阶方阵）不一致程度的指标CI：

其中λmax是矩阵 A 的最大特征值

z从有关资料查出检验成对比较矩阵 A 一致性的标准RI：RI称为平均随机一致性指标，它只与矩阵阶数有关。

z按下面公式计算成对比较阵 A 的随机一致性比率 CR：

z

z判断方法如下： 当CR<0.1时，判定成对比较阵 A 具有满意的一致性，或其不一致程度是可以接受的；否则就调整成对比较矩阵 A，直到达到

满意的一致性为止。

例中的矩阵经计算得到，查得RI=1.12，

说明A不是一致阵，但A具有满意的一致性，A 的不一致程度是可接受的。

此时A的最大特征值对应的特征向量为

U=(‐0.8409,‐0.4658,‐0.0951,‐0.1733,‐0.1920)。 这个向量也是问题所需要的。通常要将该向量标准化：使得它的各分量都大于零，各分量之和等于 1。该特征向量标准化后变成U = (0.4759,0.2636,0.0538,0.0981,0.1087)Z。经过标准化后这个向量称为权向量。这里它反映了决策者选拔干部时，视品德条件最重要，其次是才能，再次是群众关系，年龄因素，最后才是资历。各因素的相对重要性由权向量U

的各分量所确定。

求A的特征值的方法，可以用 MATLAB 语句求A的特征值:〔Y,D〕=eig（A），Y为成对比较阵 的特征值，D 的列为相应特征向量。

在实践中，可采用下述方法计算对成对比较阵A=(a_{ij})的最大特征值λmax(A)和相应特征向量的近似值。

定义

可以近似地看作A的对应于最大特征值的特征向量。

计算

可以近似看作A的最大特征值。实践中可以由λ来判断矩阵A的一致性。 层次总排序及决策

现在来完整地解决问题，要从三个候选人y1,y2,y3中选一个总体上最适合上述五个条件的候选人。对此，对三个候选人y = y1,y2,y3分别比较他们的品德(x1)，才能(x2)，资历(x3)，年龄(x4)，群众关系(x5)。

先成对比较三个候选人的品德，得成对比较阵

经计算，B1的权向量

ωx1(Y) = (0.082,0.244,0.674)z

故B1的不一致程度可接受。ωx1(Y)可以直观地视为各候选人在品德方面的得分。

类似地，分别比较三个候选人的才能，资历，年龄，群众关系得成对比较阵

通过计算知，相应的权向量为

它们可分别视为各候选人的才能分，资历分，年龄分和群众关系分。经检验

知B2,B3,B4,B5的不一致程度均可接受。

最后计算各候选人的总得分。y1的总得分

从计算公式可知，y1的总得分ω(y1)实际上是y1各条件得分ωx1(y1) ,ω

x2(y1) ,...,ωx5(y1) ,的加权平均, 权就是各条件的重要性。同理可得y2,Y3 的得分

为

ωz(y2) = 0.243,ωz(y3) = 0.452

比较后可得：候选人y3是第一干部人选。

10.3.2缺陷扣分法

缺陷扣分法是通过把握评价对象的结构缺陷进行判断的方法。就是计算单位

产品（数据或信息）的得分值，由单位产品的得分来评价信息质量。

把产品的质量特征不符合规定称为缺陷。根据缺陷对成果使用影响程度的大

小，将其分为严重缺陷、重缺陷、轻缺陷三类，设定想用的扣分值。然后将单位

产品的满分设为100分，先对评价数据中的缺陷进行判定，并对各缺陷按其严重

程度进行扣分，再将各缺陷扣分值累加，最后得到该产品的分值，从而判定产品

质量。

缺陷分析的范例：

变量名 缺陷 质量问题

事物 指称缺失（源事物没有对应的

信息丧失

指称）虚假指称（指称不存在对应源

虚假信息、信息垃圾

事物）

信息混乱

指称错位（源事物A被指称

为源事物B）

指称不一致（源事物存在多个

信息碎片、冗余、信息孤岛

指称）

信息膨胀、冲突、不可用

指称不准确（指称存在多个源

事物）

时间 未标记时间 信息丧失、内容冲突、无意义

信息不及时、信息失效

时间标记不满足要求的精确

度

空间 未标记空间 信息丧失、内容冲突、无意义

空间标记不满足要求的精确

信息不及时、信息失效

度

状态 源事物没有该状态 虚假信息、信息垃圾

信息客观性差

信息表述者的主管偏见导致

状态差异

信息不准确

感知、表述手段缺陷导致状态

差异

表述的状态有确实 信息不准确

数据的处理、表述北里知识规

信息不准确

律和真实状态

来源 未标明来源 信息不可信

来源主体感知缺陷 信息不灵敏、信息丢失

载体 载体不可用 信息不可用

载体不恰当 信息不易检索、不安全、不可

靠

表达方式 预演不通用或编码未被认同 信息不可识别

编码错误 错误信息

样式不规范 信息不规范、不易理解

标准不固定 信息不一致、不可比 缺陷数据表现为数据集合的不完整、不适用、不好用、以及假数据等几个方面：

z数据集合的不完整是相对使用目标和决策而言，数据集合可能出现时间上的不完整，即缺乏历史信息；空间上的不完整，即缺乏必要的结构性

信息；数量上的不完整，即反映某种现象数据的数量积累不能满足使用

要求。

z数据集合的不适用有以下表现形式：不准确、不精确、不正确、定义不良、概念不清等。

z数据集合的不好用有以下表现形式：不规范、有异常值、不一致、冗余、矛盾等。

z假数据可以按照人的主观意志对其影响程度分为：无意的、随意的和故意的，故意又分为善意、恶意和不得已等几类，都是将数据进行修改，

使之与原值不一致。

数据生产过程每个环节都存在不同程度的缺陷可能性，有些可以通过误差分析法、缺陷评价法进行识别，有些则很难量化。

缺陷扣分法的特点：操作简便，对缺陷的反映灵敏，缺陷值易于量化，且缺陷值直接对应于产品的不同的质量等级，根据扣分情况，可以很方便地对产品质量进行分级定级。

然而实际操作中，缺陷扣分法也存在着许多局限性和不足：重缺陷与轻缺陷扣分跨越太大，评价结果粗糙不可靠，对缺陷的认定过于绝对，结果容易偏激。科学数据包含的对象类型非常广泛，缺陷扣分法仅能适用于其中一部分专业领域，如空间数据等结构化数据的质量评价，而在全面的综合评价方面不完全适用。