多输入单输出BP网络预测的非线性预处理研究

多输入单输出BP网络预测的非线性预处理研究

刘　政1,李存军2,邓红霞3,孙　熠1

(1.四川大学水利水电学院,四川成都,610065; 2.四川大学建筑与环境学院,四川成都,610065;

3.四川省紫坪铺开发有限责任公司,四川成都,610091)

摘　要:非线性预处理在人工神经网络多输入单输出系统日径流预测中的性能主要取决于各输入序列和输出序列的变换组合方式,具有类似变化特征的输入和输出各序列采用变换特性相近或相同的变换方式相比于采用不同的变换组合具有更好的预测效果。以广西桂江流域阳朔、恭城和平乐3个水文站1973年～2001年的日径流量为例,研究了不同组合变换下的M I SO非线性预处理预测效果。结果表明,非线性预处理预测均比线性预处理相对误差

<10%、<20%和<30%的合格率分别平均提高17.87%、15.85%和8.29%;相同的变换组合比不同的变换组合相对误差<10%、<20%和<30%的合格率分别平均提高3.52%、2.19%和1.24%。

关键词:水文预测;非线性预处理;M IS O;神经网络

中图分类号:P333文献标识码:A

N L P of Da y2flow Pr ed i cti on i n M ISO of BP ANN

L I U Zheng1,L I Cun2j un2,D EN G Hong2xia3,S UN Yi1

(1.School ofW at er Res ource and Hydropower,Si chuan Univ.,Chengdu610065,Ch i na;

2.Schoo l of A rch itecture and Envir onm ent,Sichuan Un i v.,Chengdu610065,Ch i na;

3.Si chuan Provi nce Zipingpu Devel opment Co.L td.,Chengdu610091,Ch i na)

Abstrac t:The day2flow predic tion result in M I S O of B P AN N with NLP is m ainly deter m ined by transf e r com bina2 ti on of serie s.The sa m e transfe rswith si m ilar characteristic are be tte r than different transfers of se ries.This pa pe r predicted in7cases ofM I S O w ith daily r unoff of Yangshuo,G ongcheng and P ingle Station in Guangxi p r ovince dur2 ing1973～2001.The results show that eligibility rati o of rela tive e rr or in10%,in20%and in30%by NLP are averagely17.87%,15.85%and8.29%mor e than LP respectively,tha t e ligibility rati o of relative e rr or in10%, in20%and in30%by sa me NLP combinati on were averagely3.52%,2.19%and1.24%m ore than by different NLP com bination respectively.

Key wor ds:hydr ol ogy p redic tion;non2linear pretreat m ent;M I S O;A NN

　　理论研究表明,只要具有足够的隐层神经元,三层人工神经网络可以无限地逼近任何时间序列和函数[1-2]。但对于特定结构的神经网络,拟合性能却

收稿日期:2007-09-17

基金项目四川大学青年基金资助项目(66);四川交通职业技术学院科研资助项目

作者简介刘　政(),男,博士生研究方向水文及水资源是固定的,不同结构的神经网络的逼近效果差别较大,表现在相同的训练样本、训练算法和训练次数情况下,不同网络结构的拟合误差差异明显[3-4]。当样本数据复杂,网络结构对样本数据敏感,则通过适当的预处理或变换,改善样本数据的分布特点,使之主动适应神经网络,成为神经网络具体应用中发挥功能的重要途径之一,规格化是这种指导思想下的普遍性的应用[56]。然而,规格化是一种线性预处

:001

2007

:1972-.:

.

-

理(L inea r Prepr oce ssing,LP )方法,其作用只是对原始数据按固定比例进行伸缩或平移处理,并没有改变数据间的相互结构关系。由于水文数据的非线性程度一般较大,如采用传统的数据预处理方法,不能降低其非线性程度,神经网络对于非线性程度较大的数据,训练比较困难,误差很大[7-9]

。李存军等以B P 网络为例,论述了S 型神经元的数据拟合能力评价标准,提出了S 型神经元的数据平滑度模型,在分析日径流数据分布特点基础上提出了神经网络日径流时间序列预测中的几种基本的非线性预处理(Non 2linea r Prepr oce ssing,NLP )方法,并用广西平乐水文站29年日径流数据进行了验证,结果表明这种方法的效果比较明显[10]

。该文探讨了人工神经网络实现水文预测中非线性预处理的理论基础,具体的应用仅讨论了单输入单输出(S I S O )系统中的情况。要扩大这种方法的应用范围,需要研究多输入单输出(Multiple Input Single Out put,M I S O )系统和多输入多输出(M I M O )系统中的应用途径。文中利用广西桂江流域的3个水文站多年的日径流数据从实证的角度研究NLP 在B P 神经网络M IS O 系统中的应用方法,研究表明,输入输出变换特性相近或相同的变换方法可以有效提高预测精度。

1　BP 网络日径流预测的NL P

简要介绍日径流序列神经网络SI S O 系统的NLP 预测模型和几种基本的N LP 方法。

1.1　基于NLP 的日径流SI S O 模型

日径流序列NLP 预测在神经网络S I S O 系统中的应用模型如图1所示,样本数据首先通过某种可以改善分布特征的非线性变换,再利用神经网络预测器对变换后的数据进行预测,将神经网络的输出通过非线性逆变换还原成原始状态下的预测结果

。

图1　S IS O 中的N L P 应用模式

F i g .1　N L P m odel i n S ISO pr ed i c ti on system

　　在已有的研究中,S I S O 系统的输入为1天或几天前的流量,输出为次天的流量,在整个SI S O 系统

中实际上只有一个时间序列,只不过输出序列是输入序列的延迟,因而其非线性处理也比较容易实现,即对该序列进行适当的非线性变换后训练和预测,再将预测结果逆变换还原。

1.2　几种基本的N L P 方法

下面是几种基本的非线性(逆)变换方法。

(1)LOG 型

LOG 型变换的基本形式为:

x ′

i =ln (ax i +b )(1)x i =e x ′

/a -b /a

(2)

其中,a =(e -1)/[m ax (x )-m in (x )],

b =[e m in (x )-m ax (x )]/[m ax (x )-m in (x )]。a,b 分别为伸缩调节系数和平移调节系数,使原数

据经伸缩和平移后能够位于区间(1,+∞),变换后

的数据位于区间(0,1),x 为原数据序列,x i 和x ′

i 分

别为原数据和变化后的数据,下同。

(2)1/X 型

1/X 型变换的基本形式为:

x ′

i =1/(ax i +b )(3)x i =1/(a x ′

i )-b /a

(4)

其中,a =[m ax (x)-1]/[m ax (x)m in (x)],b =

1/m ax (x )。a,b 的作用是保证原数据经伸缩和平移后能够位于区间(1,+∞),变换后的数据位于区间(0,1)。

(3)COS 型

CO S 型变换的基本形式为:

x ′

i =cos {[1-1/(a x i +b )]

π/2}(5)x i =1/{a [1-2/π

arcco s (x ′i )]}-b /a

(6)

其中,a =[m ax (x )-1]/[m ax (x )m in (x )],b =

1/m ax (x )。a,b 的作用是保证原数据经伸缩和平移后能够位于区间(1,+∞),从而使得COS (x )函数

在定义域(0,π/2),变换后的数据位于区间(0,1)。

上述是几种基本的变换方法,还有其他的变换方法,推导严谨的变换理论还有待继续研究,本文对此不作研究。

2　NLP 的M IS O 应用模式

相比于S I S O 系统的单个时间序列,M I S O 系统和M I M O 系统涉及多个时间序列。理论上,神经网

络的M I M O 系统可以由多个相同输入层节点和相同隐层节点的M I S O 网络系统非线性组合而成。文中仅研究非线性预处理在M I S O 中的应用模式,其在M I M O 中的应用效能可以类推。2.1　NLP 的M IS O 预测模型

非线性预处理在M I S O 预测模型中的应用模式如图所示。在M I S O 系统的训练阶段,神经网络的输入样本序列I N x 可以分别通过不同的非线性变

45四川大学学报(工程科学版)第40卷　

2

换方法NL P x 进行预处理,输出样本序列OU T 可以通过另外的非线性变换方法NLP 2O 进行预处理,将变换后的输入和输出样本序列利用设计好的神经网络进行训练。在M IS O 系统的预测阶段,神经网络的输入序列in x 分别用在训练阶段相应的非线性变换方法NLP x 进行预处理,并输入训练好的神经网络,将输出结果out 通过在训练阶段的非线性变换方法NLP 2O 的逆变换AN LP 2O 对预测数据进行复原,就得到最终的预测结果

。

图2　M ISO 中的N L P 应用模式

F ig .2　N L P m ode l i n M ISO pr ed i ct i on system

　　在M I S O 系统的预测过程中,要注意以下几点:1)要分析各种非线性变换方法对序列的变换特征,掌握变换后序列的分布特点;2)各序列的非线性变换方法NLP 1,NLP 2,…,NLP n 和NLP 2O 可以是相同的变换,也可以互不相同,最好选用变换特征类似的非线性变换方法,如1/X 型和C O S 型,此注意项将在2.2小节实证研究中详细讨论;3)逆变换ANLP 2O 必须保证是NLP 2O 的对偶逆变换。2.2　M I S O 中NLP 组合模式实证分析

以广西平乐站控制流域的3个站为例,通过实证讨论M I S O 系统中不同变换组合的预测效果。2.2.1　资料背景

广西阳朔、恭城和平乐站是西江上游桂江流域的3个水文站,两两相距均在50km 以内,如图3。平乐站作为出口控制站,控制流域面积为12159km 2

。文中收集了3站1973年～2001年,共29年的日径流量数据,将阳朔、恭城、平乐所组成的系统视为流域系统,对平乐站日径流进行模拟和预测。采用前年(3年～6年)的数据对神经网络进行训练,后5年(年～年)作为检验年。

图3　桂江流域系统示意

F i g .3　D ra i na ge ba si n system of Gu iji an g

2.2.2　预测模型建立

神经网络设计:BP 神经网络,设置为3层,分别为:输入层3个神经元,分别为阳朔序列、恭城序列和平乐序列,隐层12个神经元,均为S 型判别函数,输出层为线性函数,1个神经元,即平乐次日流量的序列,预见期为1d;目标误差:10

-4

;训练步数:

1000。采用经典的BP 算法对神经网络进行训练。实验对比设计见表1,对LOG 型、1/X 型和COS 型基本变换采用不同的方式设计了6种组合,每种输出变换有2种组合,以比较这些组合的预测效果。为了论证这些变换的有效性,另列1种输入输出均为线性变换的组合,采用常规的规格化作为线性变换,即

x ′

i =

x i -m in (x )

m ax (x )-m in (x )

=a x i +b

(7)x i =x ′

i /a -b /a

(8)

表1　平乐站M ISO 预测的7种组合

Ta b .1　7ca ses of P i n gle sta ti on i n M ISO 组合

输入序列

阳朔恭城平乐输出序列

(次日平乐)

1线性

线性

线性

线性

2LOG 型LOG 型LO G 型LOG 型31/X 型1/X 型LO G 型LOG 型41/X 型1/X 型1/X 型1/X 型5COS 型C OS 型1/X 型1/X 型6COS 型C OS 型C OS 型C OS 型7

LOG 型

LOG 型

C OS 型

C OS 型

　　变换参数设计:按照式(1)～式(8)的方法,得到各类变换的变换参数,见表2。

2.2.3　预测结果及分析

7种组合下的预测结果见图4和图5,拟合和预测的误差统计见表3。

5

5　第4期刘　政,等:多输入单输出BP 网络预测的非线性预处理研究2419719919972001

Ta b.2　a a nd b i n4k i n ds of tran sfer

变换类型

变换参数

阳朔序列恭城序列平乐序列

a b a b a b

线性 1.9×10-4-2.2×10-3 4.3×10-4-1.7×10-41.0×10-4-2.0×10-3 LOG型 2.4×10-40.9972 5.6×10-40.99781.3×10-40.9974

1/X型0.0847 1.9×10-40.2550 4.3×10-40.04909.9×10-5

COS型0.0847 1.9×10-40.2550 4.3×10-40.04909.9×10-

5

图4　7种组合下的M ISO预测效果

F ig.4　Pr ed i c tion r esu lt i n7ca se s of M IS O

　　从图4、5、表2和表3对比分析可得出:1)所有的非线性预处理组合的预测效果均好于规格化的线性预处理,相对误差<%的合格率从365%平均提高到5%,相对误差<%的合格率从

6

图5　M ISO系统中不同预处理的预测效果

F i g.5　Resu lts of defer en t pr epr oce ssi ng i n M ISO 32%平均提高到78.17%,相对误差<30%的合格率从79.52%平均提高到87.81%,平均绝对误差从109.42m3/s平均减少到99.68m3/s。

2)在输出序列为相同变换的组合中,所有输入序列采用与输出序列相同变换方法的预测效果均好于不同变换方法的组合,相对误差<10%的合格率从52.36%平均提高到55.88%,相对误差<20%的合格率从77.07%平均提高到79.26%,相对误差< 30%的合格率从87.19%平均提高到88.43%,平均绝对误差从105.69m3/s平均减少到99.67m3/s。

3)输入输出均为LOG型的变换的预测效果(组合2)稍好于输入输出均为1/X型(组合4)或COS 型的变换(组合6),这种差别与变换参数选择有关。

4)输出为1/X型变换的2种组合(组合4和组合5)中,预测误差的差异要小于输出为LO G型变换的组合(组合2和组合3)和COS型变换的组合(组合6和组合7)的差异,原因是2种组合是由1/X型或C OS型变换组合而成,而1/X型和COS型变换的性能类似。

5)输入输出全为1/X型(组合4)和C OS型(组合6)变换的预测效果差别不明显,也证明了这两类变换的性能类似。

由此可见,对于非线性程度相类似的输入和输出序列,要更大程度上提高非线性预处理在M I S O

65四川大学学报(工程科学版)第40卷　

10.2

4.1220 2.神经网络系统中的预测精度,要求各输入输出序列采用变换性能相近的变换方法。

变换参数选取应尽可能使得变换后的数据较均匀地分布于区间(0,1)内。满足此要求后,预测性能差异不明显。

表3　7种组合下M IS O拟合和预测的误差统计

Ta b.3　Sta tist i c of a ppr o a ch an d pred iction er r or i n7ca ses

变换类型组合

拟合阶段预测阶段

相对误差范围内的合格率/%平均绝对相对误差范围内的合格率/%平均绝对

<10<20<30误差/(m3s-1)<10<20<30误差/(m3s-1)

线　性155.3873.6285.6695.5436.2562.3279.52119.42

LOG型2

370.90

66.30

86.66

85.05

93.71

91.15

72.54

80.10

58.43

51.86

80.94

76.

91.02

87.35

90.67

100.12

1/X型4

5

68.61

67.11

85.05

84.05

91.11

90.84

76.79

87.26

55.15

53.01

78.

77.22

87.30

86.97

95.99

109.08

C OS型6

767.84

66.53

84.74

83.98

90.88

91.11

75.47

86.29

54.05

52.19

78.20

77.11

86.97

87.30

94.34

107.86

3　结　论

提出了非线性处理方法在M I S O的B P网络日径流预测中的应用模式,并主要利用实证方法进行了研究。结果表明,与线性处理方法相比,采用非线性变换方法预测性能仍然提高较大;与不同变换的组合相比,各输入输出序列均采用相同的变换方法或相同变换特征的非线性预处理方法可以得到更高的预测精度。本文结论对桂江流域及相似流域时使用的,对于其他不相似流域有待进一步研究。

参考文献:

[1]杨行俊,郑君里.人工神经网络与盲信号处理[M].北

京:清华大学出版社,2003.

[2]袁曾任.人工神经网络及其应用[M].北京:清华大学

出版社,1999.

[3]Q i n Guanghua,D ing J i ng,L i u G uodong.R iver f l o w predi c2

ti on using a rtificial neural ne t works se lf2adapti ve e rr o r back2 propag a tion a lg orith m[J].Advances in W ate r Science, 2002,13(1):37-41.[覃光华,丁晶,刘国东.自适应BP算法及其在河道洪水预报上的应用[J].水科学进展,2002,13(1):37-41.]

[4]Q i n Guanghua,D i ng J i ng,L iMe i mei,et a l.App lica ti on of

an ANNs wit h sensitiv e ability to hydr ologi c forecast[J].

Advance s in W ater Science,2003,12(2):163-166.[覃光华,丁晶,李眉眉,等.敏感型人工神经网络及其在水文预报中的应用[J].水科学进展,2003,12(2):163 -166.]

[5]D x,L j,Z B,R ff2

y y[]2

f W U y,6,3()

14.[邓红霞,李存军,朱兵,等.基于鲁棒PC A聚类分

析的径流周期特性研究[J].武汉大学学报:工学版, 2006,39(1):10-14.]

[6]Deng Hongxia,Tang Chengyou,Li Cunj un,et al.Runoff

characteristi c ana l ysis by fuzzy pattern recogniti on[J].Jour2 nal of Sichuan University:Engineering Sc ience Editi on, 2006,38(3):29-33.[邓红霞,汤成友,李存军,等.基于模糊模式识别的径流特性分析[J].四川大学学报:工程科学版,2006,38(3):29-33.]

[7]Deng Hongxia,Li Cunjun,Zhao Taixi ang,et al.Eva lua ti on

of hydr ologi c foreca st mode l based on SP A[J].Journa l of Sichuan University:Engineering Sc i ence Edition,2006,38

(6):34-37.[邓红霞,李存军,赵太想,等.基于SPA

的水文预测模型评估[J].四川大学学报:工程科学版, 2006,38(6):34-37.]

[8]Wan Xing,D i ng J ing,Yan B inzhong,et a l.The s e lf2adap2

ti ve NN BR2AN N coup ling model f or annual runoff foreca st [J].Journa l of Sichuan University:Engineering Sc i ence E2 dition,2005,37(5):5-9.[万星,丁晶,严秉忠,等.

年径流预测的自适应NNBR-ANN耦合模型[J].四川大学学报:工程科学版,2005,37(5):5-9]

[9]Xu L i uxing,L iang Chuan,Q in Yuanqing.The monthely

runoff predic ti on of Ziping p u by i mproved e l m an mode l[J] Journal of Sichuan Universit y:Enginee ri ng Sc i ence Editi on, 2006,38(3):38-42.[徐留兴,梁川,秦远清.改进的El m an模型在紫坪铺月径流预测中的应用[J].四川大学学报:工程科学版,2006,38(3):38-42.] [10]Li Cunjun,Deng Hongxia,Zhu B ing,et a l.Da ta adapta2

bility on BP ANN in predic ti on of da ily fl ow[J].Journal of Sichuan University:Engineering Sc i ence Edition,2007,38

(3)33[李存军,邓红霞,朱兵,等B神经网络

预测日径流序列的数据适应性分析四川大学学报工程科学版,,3(3)33](编辑　张　琼)

75

　第4期刘　政,等:多输入单输出BP网络预测的非线性预处理研究

eng Hon g ia i Cun un hu ing e t a l.uno p e ri o d icit anal sis ba s ed on ro bu st PCA an d clu ste r J.E ngi nee ri n g Jou rna l o uh an n iversit20091:10-:29-..P

.: 20078:29-.