试验数据异常值的检验及剔除方法

摘要：在实验中不可避免会存在一些异常数据，而异常数据的存在会掩盖研究对象的变化规律和对分析结果产生重要的影响，异常值的检验与正确处理是保证原始数据可靠性、平均值与标准差计算准确性的前提.本文简述判别测量值异常的几种统计学方法，并利用DPS软件检验及剔除实验数据中异常值，此方法简单、直观、快捷，适合实验者用于实验的数据处理和分析.

关键词：异常值检验；异常值剔除；DPS；测量数据

1引言

在实验中，由于测量产生误差，从而导致个别数据出现异常，往往导致结果产生较大的误差，即出现数据的异常.而异常数据的出现会掩盖实验数据的变化规律，以致使研究对象变化规律异常，得出错误结论.因此，正确分析并剔除异常值有助于提高实验精度.

判别实验数据中异常值的步骤是先要检验和分析原始数据的记录、操作方法、实验条件等过程，找出异常值出现的原因并予以剔除.

利用计算机剔除异常值的方法许多专家做了详细的文献[1]报告.如王鑫，吴先球，用Origin剔除线形拟合中实验数据的异常值；严昌顺．用计算机快速剔除含粗大误差的“环值”；运用了统计学中各种判别异常值的准则，各种准则的优劣程度将体现在下文.

2异常值的判别方法

判别异常值的准则很多，常用的有检验（3S）准则、狄克松（Dixon）准则、格拉布斯（Grubbs）准则等准则.下面将一一简要介绍.

2.1检验（3S）准则    

检验准则又称罗曼诺夫斯基准则，它是按分布的实际误差分布范围来判别异常值，对重复测量次数较少的情况比较合理.

基本思想：首先剔除一个可疑值，然后安分布来检验被剔除的值是否为异常值.

设样本数据为，若认为可疑值.计算余下个数据平均值及标准差，即.

然后，按分布来判别被剔除的值是否为异常值.

若，则为异常值，应予剔除，否则为正常值，应予以保留.其中：为显著水平；数据个数；为检验系数，可通过查表得到.

2.2狄克松（Dixon）准则

设有一组测量数据，且为正态分布，则可能为异常值的测量数据必然出现在两端，即或.

狄克松给出了不同样本数量时检验统计量的计算公式（见表1）.当显著水平为1%或5%时，狄克松给出了其临界值.如果测量数据的检验统计量，则为异常值，如果测量数据的检验统计量，则为异常值.

表1 狄克松检验统计量计算公式为

2.3格拉布斯（Grubbs）准则

设有一组测量数据为正态分布，为了检验数据中是否存在异常值，将其按大小顺序排列，即，可能为异常值的测量数据一定出现在最大或最小的数据中.

若最小值是可疑的，则检验统计量.式中是均值、是标准差，即.

对于检验统计量，格拉布斯导出了其统计分布，并给出了当显著水平为1%或5%时的临界值.称格拉布斯系数，可通过抽查表得到.当最小值或最大值对应的检验统计量大于临界值时，则认为与之对应的或为可疑异常值，应予以剔除.

2.4指数分布时异常值检验

设一组测量数据为指数分布，为了检验数据中是否存在异常值，将其按大小顺序排列，即.检验最小值或最大值是否为异常值的检验方法如下：

当样本量时，计算统计量及

对于给定的显著水平（通常取）和样本数量，通过查表得到及分别对应的临界值和.若时，认为为异常值；若时，认为为异常值.

当样本容量时，计算统计量及.

对于给定显著水平和样本数量，若，则判断为异常值；若，则判断为异常值.

2.5莱茵达准则（PanTa）

对于实验数据测出值，求取其算术平均值及剩余误差值，然后求出其均方根偏差.

判别依据（假设服从正态分布）：

，则相对而言误差较大，应舍去；

，为正常数据，应该保留.

有概率论统计可知，如果误差服从正要分布，误差大于的观测数据出现的概率小于，相当大于300次观测中有一次出现的可能.莱茵达准则只是进行粗略的剔除，取舍的概率较小，可能将不合理的异常值保留.

2.6肖维勒准则（Chauvenet）

次准则也是建立在实验数据服从正态分布.假设多次测量的个测量值中，数据的参与误差，则剔除该数据.其中，样品容量为时的判别系数，弥补了莱茵达准则的不足，故此准则优胜于莱茵达准则，但条件更为苛刻.

3实验异常数据的处理

对于测定中异常数据的处理，必须慎重考虑，不能凭预感任意删除或添加.应该从所学知识上考虑，异常值有时能反映试验中的某些新现象.这类“异常值”正深化人们对客观事物的认识，如果随意删除它，可能深入了解和发现新事物的一次机会，那么对学者深入研究非常可惜.所以对任何异常数据都因首先在技术上寻找原因，如果在技术上发现原因，理应舍去.如在技术上无法作出判断，却可在上述准则中发现其高度异常，也因舍弃.

其中，运用DPS软件进行异常数据的检验与剔除特别方便，而且不许编写程序，它融合了SPSS表格和EXCELL表格，操作简单，实用性强.如图一下为DPS数据处理系统对话框.

图一 数据处理系统对话框

只要执行菜单命令下的“数据分析——异常值检验”弹出如图二下图的窗口，然后进行选择检验分析方法及显著水平，点击确定即可.

图二 用户对话框

在测定中，有时发现个别数据离群严重，上述检验原则为异常值，但它与其他测定值的差异在仪器的精度范围内，这种数据不应舍去，应予保留.

而对于一些分析而言，需要估计总体参数，异常数据一般都要舍去.对于不同的之心度应作相应的处理，则要据实际情况而定.

4结束语

由上述可知，用DPS软件进行异常值检验和剔除的过程简单、直观、快捷，适用于大众学生进行各实验数据的处理和分析.将此软件运用于实验教学，可以使学生快速准确判断实验结果，也可以提高教学质量.

参考文献

[1] 王鑫，吴先球．用Origin剔除线形拟合中实验数据的异常值[J]．山西师范大学学报，2003，17(1)，56—57.

[2] 严昌顺．用计算机快速剔除含粗大误差的“环值”[J]．计量技术，1994（5），45—47.

[3] 苏金明，傅荣华，周建斌．统计软件SPSS系列应用实战篇[M]．电子工业出版社，2002

[4] 唐．DPS数据处理系统——实验设计、统计分析及数据挖掘[M]．科学出版社，2006

[5] 何国伟 等编著.误差分析方法．北京：国防工业出版社，1978