结合人脸识别的RFID身份验证系统研究与实现

近年来RFID卡和二代身份证等一些以射频技术为基础的识别手段，已在身份识别领域得到了广泛应用，利用指纹、语音、人脸等进行身份识别也逐渐进入了实用阶段，但是大部分身份识别仍是基于单一特征的识别手段，在有效性和安全性上存在缺陷。

为了满足人们对安全管理的需求，需要设计一种集多种身份识别方式于一体、具有多功能身份识别的智能终端。因此，以上海市科学技术委员会科研计划项目课题“面向世博场馆的智能监控系统研究”为依托，研究并实现了面向结合人脸识别的RFID智能身份识别系统。首先介绍身份识别系统的架构，然后就其中关键技术一一详述，接下来介绍各个模块的实现，最后，给出了系统的性能测试。

2系统架构

2.1系统应用场景

2.1.1世博场馆准入场景

用户手持世博场馆门票经过门禁系统。RFID解读器探测到门票内的身份信息，计算机启动人脸检测功能，抓取持卡人的人脸图片。计算机根据门票中身份信息从人脸数据库中提取相应人脸模板，将人脸模板与抓取的人脸图片进行验证，若验证通过，放行；验证不通过，阻止进入，同时将现场所拍照片以彩信形式发送至监控手机。存储门禁记录以备日后查询。2.1.2世博场馆管理人员监控场景

管理员可选择多种查询条件，浏览门禁记录，或者查询特定门禁记录。管理员可在门禁系统阻止可疑人进入时收到警报信息。

2.2系统总体框架

整个系统包括三个子系统，信息采集子系统，数据处理及分析子系统，监控信息存储和发送子系统。监控信息管理及查询子系统。

信息采集子系统是系统的输入部分，主要功能是视频图像的采集以及RFID卡的探测。数据处理子系统负责视频图像的显示，RFID卡内数据的解析封装以及各个数据处理线程的同步与互斥。监控信息存储和发送子系统负责存储人脸模板数据库以及门禁记录。监控信息管理与查询子系统可根据查询条件返回门禁记录查询结果。

系统总体框架如图1所示。

2.3子系统架构

2.3.1信息采集子系统

（1）摄像头：视频的采集，将视频流数据发送到数据处理的计算机。

结合人脸识别的RFID身份验证系统研究与实现

吴元，刘决仕

WU Yuan，LIU Jue-shi

上海交通大学计算机科学与技术系，上海200240

Department of Computer Science and Engineering，Shanghai Jiaotong University，Shanghai200240，China

E-mail：wuyuan1126@hotmail.com

WU Yuan，LIU Jue-shi.Research and implementation of identity verification based on face recognition and RFID. Computer Engineering and Applications，2009，45（4）：242-245.

Abstract：With the wide use of RFID technology and the development of face recognition，the reliability and efficiency of identity verification is improved.This paper introduces a smart identity verification system，which consists of RFID card processing，Ad－aboost face detection，LDA face recognition and other pattern recognition technologies.This system can be used in public activi－ties，security meeting，safety check，sports meeting and work attendance check.Therefore it has important practical value.

Key words：Radio Frequency Identification（RFID）；identity verification；face detection；face recognition

摘要：随着RFID识别技术的广泛应用以及人脸识别技术的发展，结合两种技术将会提高身份识别的安全性和有效性。基于此，整合了RFID射频卡信息处理、Adaboost人脸检测、LDA人脸识别等模式识别处理技术，实现了一个身份智能验证系统，可应用于大型活动、会议和体育赛事的安检以及公司的考勤中，具有重要的实际应用价值。

关键词：射频识别；身份验证；人脸检测；人脸识别

DOI：10.3778/j.issn.1002-8331.2009.04.071文章编号：1002－8331（2009）04-0242-04文献标识码：A中图分类号：TP391

基金项目：上海市科学技术委员会科研计划项目（the Research Foundation of Science and Technology Commission of Shanghai Municipality No.05DZ05837）。作者简介：吴元（1983－），女，硕士研究生，主要研究领域为人脸识别、数字图像处理；刘决仕（1984－），男，硕士研究生，主要研究领域为人脸识别、数字图像处理。

收稿日期：2008-01-02修回日期：2008-03-04

ÁÁ

Á图1身份识别智能系统总体架构

图2图像处理流程

建立串口连接建立串口数据读取线程

读串口数据

建立连接失败

读数据出现错误

读结束

读（接收）RFID 卡内数据

将数据解码为用户ID

清空缓冲区

继续读取RFID?

关闭串口连接

挂起读线程，向主线

程发送错误信息

N

Y

Y

N

图3通过串口读RFID 电子标签信息流程

（2）身份识别卡：内含用户姓名等身份信息，卡在RFID 解

读器可读范围内，将内含数据发送给解读器。（3）RFID 解读器：

与计算机通过串口相连，当接收到RFID 电子标签内存储信息之后把信息传送给计算机。2.3.2数据处理及分析子系统

数据处理与分析：这一部分是系统的核心部分，涉及到RFID 身份识别卡内的信息处理，视频图像中正面人脸位置的检测，人脸特征的抽取，人脸验证以及各个功能模块之间的同步与互斥控制。RFID 身份卡信息处理将在后续章节讨论，图像处理流程如图2所示。

2.3.3监控信息存储和发送子系统

（1）人脸模板数据库：包含人脸原始图片，以及从原始图片训练提取出的人脸特征。图片处理及特征提取与图2所示的相应部分步骤一致。

（2）门禁记录数据库：智能身份识别系统记录RFID 卡内用户ID ，用户姓名，刷卡时间，是否通过门禁系统，持卡人人脸图片。持卡人人脸图片以JPEG 文件形式保存，其他信息均保存在数据库中。

（3）转发服务器：负责监控信息与手机间的信息传递。对用户透明，负责将拍摄端的图像数据转发至相应的手机端。为了供不同网络的用户访问，在教育网和电信分别放置两台相同的服务器。

2.3.4

监控信息管理及查询子系统

监控信息管理及查询子系统与监控信息存储子系统通过数据库相连。系统支持的查询条件有：

（1）按照时间查询：查询输入时间段（精确到分钟），系统返回此时间段内的身边识别信息。

（2）按照用户ID 查询：输入特定用户ID ，系统返回此ID 对应的所有通过门禁系统信息。（3）按照记录内容查询：可查看所有通过门禁系统的记录。

3关键技术

3.1RFID 数据处理

RFID 解读器的RS232接口与外部计算机连接，

进行数据交换。计算机通过串口去读RFID 解读器内的信息，计算机与RFID 解读器通信流程如图3所示。

3.2人脸检测

为了提高人脸检测的速度，系统先使用肤色检测来确定人

脸所在大致区域，快速丢弃大部分的背景区域，从而缩小Ada －

boost 算法的搜索范围。

下面分别说明肤色检测和Adaboost 算法。3.2.1肤色检测

针对彩色图像的人脸检测，人脸肤色检测重要且简单有效。基于肤色的人脸检测方法利用图像的彩色信息在一定的色彩空间内构造肤色模型。选择YCbCr 作为肤色分布统计的映射空间。该空间的优点是可以将亮度和色度分开单独处理，实现亮度和色度分量比较彻底的分离，能较好地肤色分布区域，肤色点能够形成较好聚类。3.2.2Adaboost 算法

使用类Haar 特征和Adaboost 算法设计并实现了视频实时人脸检测子系统。下面分别就类Haar 特征和Adaboost 算法分别进行说明。

类Haar 特征是一类简单特征。选择特征而不是像素本身进行分类运算有以下几个好处：一是特征包含了局部整体信息可以将分类空间降维；另外使用基于特征的运算在速度上远远优于基于像素的运算。

Boosting 是一种分类器融合算法。Adaboost 学习算法原本是用来提高某种简单分类算法的性能的。它通过对一些弱的分类器的组合来形成一个强的分类器。在Adaboost 算法中，简单的分类算法被称为弱学习算法。Adaboost 算法通过一个迭代的训练过程来得到一个强的分类器。在第一次训练出一个弱分类器后，训练样本的权重得到调整，从而使被第一次训练出的弱

分类器错误分类的样本的权重增加。如此迭代下去，

最终得到

开始训练人脸库？输入训练者

ID

开启人脸检测线程保存现场拍摄人脸图片启动读RFID线程

开启人脸检测线程

检测到人脸？

验证通过

进行人脸验证

记录验证信息

测试人脸

目标人脸

发送照片彩信

到监控手机

根据用户ID和姓名从人脸

数据库找到人脸图片

检测到RFID信息？

N N

Y

Y

Y N

N

Y

Y

N

图4系统流程框图

图5RFID数据处理实现类图

的分类器是对每次训练得到的弱分类器的一个线性组合。Vi－ola和Jones提出了一种基于Adaboost和快速特征提取的正面实时人脸检测算法。他们的算法在个人计算机上达到了15帧/s 的速度[1]。

3.3人脸验证

人脸识别的算法大致可分为两类：基于统计的方法和基于几何的方法。当应用统计方法解决人脸识别问题时，一再碰到的一个问题是维数问题。通常将一幅包含n×m像素的图像看作是n×m维空间里的一个点，在如此高维的空间里找出一个快速而且鲁棒的识别算法是不可行的。因此降低维数也即抽取人脸特征成为解决处理问题的关键。

采用线性判别分析（Fisher线性判别）的方法来降低样本的维数。Fisher准则函数就是为了发现这样的投影空间，使得样本类间离散度和样本类内离散度的比值最大。简而言之，就是在这样的投影方向，同一个类的样本聚集在一起，而不同类的样本相对分散。但是在应用LDA的人脸识别问题中，一个经常遇到的问题是，样本类内离散度矩阵S

w

通常是奇异的，使得问题不可求解。其原因在于一幅图像包含的像素往往大大超过训练集中的图像个数，也即小样本集合问题。为了解决这个问题，在LDA算法基础之上需做两处改进：第一是样本类内离散度为零；第二是在此前提下，寻找使得样本类间离散度最大的投影方向。

4系统实现

4.1系统线程控制

本系统采用多线程编程方式，充分利用高性能计算机的软硬件资源，提高运行效率。分为身份识别主线程、RFID检测线程、视频图像中人脸检测线程。下面就以一次完整地人脸验证操作为例，来分析系统流程控制，如图4所示。

4.2RFID数据处理实现

RFID卡内信息的检测、读取、处理由CRFIDCtrl、IRfid－Handler、CRfidResultSet以及CChildView协作完成。CChildView 是系统的主线程，用来控制视频图像的获取、RFID信息的检

测、人脸检测和人脸识别等线程的同步与互斥。IRfidHandler是一个抽象类，声明了抽象方法OnRfidDetected（），这个方法用于定义RFID被检测到之后需要执行的动作，继承类需要重写这个方法。CRFIDCtrl为RFID读取设备控制类，BeginRead（）、EndRead（）分别用于启动和停止RFID读取线程，ReadThread （）是读取线程的定义，通过计算机的串口，得到RFID卡卡号。ReadThread（）会调用HandleRead（）方法，HandleRead（）方法调用了OnRfidDetected（），CChildView继承了抽象类IRfidHandler，重写了这个方法，来获取RFID卡的卡号对应的姓名信息，从人脸数据库中寻找相应人脸图片，同时启动人脸检测线程。CRfidResultSet是RFID卡号与姓名信息的缓存类，用来缓存检测到的RFID卡号以及对应的姓名。OnRfidDetected（）方法中就是通过调用这个类的MapIDtoName（）将卡号映射到持卡人姓名。这四个类之间的协作关系如图5所示。

4.3人脸检测Adaboost算法实现

人脸检测的过程就是对大量候选区域进行二类分类的过程。每一个区域的二类分类（通过/拒绝）由级联分类器完成。在级联分类器进行判断时，它依次使用它包含的强分类器对候选矩形区域进行判断。一旦候选者在某一层被拒绝，该次分类过程结束。

强分类器使用它所包含的所有弱分类器对候选者进行运算，并累计赞成票。每票根据弱分类器分类准确率拥有不同的权值。当累计票的累计权值超过事先训练的阈值，候选者将通过该层强分类器；否则将被拒绝。

每一个弱分类器在对候选区域进行运算时，使用它所拥有的一个Haar特征对候选区域进行计算，所得的特征值与弱分类器的阈值（Threshold）进行比较。如果比较结果（大于/不大于）与弱分类器的符号方向（Parity）一致，则投赞成票并贡献出自己的权值，否则投出反对票。

分类器结构如图6所示。

图6分类器结构示意图

图7系统演示通过记录图8系统演示冒充者拒识记录4.4人脸验证标准化LDA算法实现

用LDA的人脸识别问题中，一个经常遇到的问题是，样本

类内离散度矩阵S

w

通常是奇异的，使得问题不可求解。为了解

决这个问题，使用了改进的标准化的LDA算法，以样本类

内离散度为零，并且寻找使得样本类间离散度最大的投影方

向。算法步骤如下：

（1）根据以下公式定义样本类内离散度：

S w=

C

i=1

ΣP i S i

S i=E[（x-μi）（x-μi）T|x∈C i]

其中S

w

为样本类内离散度，P

i

是第i类的先验概率，μ

i

为第i

类的均值。

（2）根据式（1）~式（3）定义样本类间离散度：

S b=

C-1

i=1

ΣC

j=i+1

ΣP i P jω（△ij）（μi-μj）（μi-μj）T（1）

△ij=（μi-μj）T（μi-μj）

姨（2）

ω（△ij）=1

△2

ij

（3）

其中S

b

是样本类间离散度，其他定义同上。

（3）保留样本类内离散度的零空间，因为它们包含了对判

别最有帮助的信息：

V T S w V=0（V T V=I）

（4）将样本类间离散度投影到样本类内离散度的零空间：

S b′=V T S b V

（5）特征分解投影之后的样本类间离散度，求解对应m个

较大特征值的特征向量：

U T S b′U=Λ

其中Λ是对角矩阵，对角元素是按照降序排列的。

（6）最后的投影方向，也就是LDA降维转换矩阵为：

A=VU

由上述过程可知，A T S

w

A=0，A T S b A=Λ。因此，|A T S b A|和|A T S w A|的

比值达到最大，也就是说，本文的求解使得Fisher准则函数取

得最大值。

5系统演示

图7、图8为系统截图，图7为持卡者通过的记录，图8为

冒充持卡者拒识的记录，记录中保留了持卡人的照片、打卡时

间、人脸验证的结果。系统保存打卡记录以及图片，记录均可以

精确到秒，系统界面左上方显示持卡人打卡时由人脸检测线程

抓取到的人脸图片，右上方显示人脸数据库RFID卡注册用户

的样本图片。查询条件可以按照时间查询，查询可精确到分钟；

可以按照人名查询，查询特定姓名的人的所有持卡经过记录图

片。查询同时返回当时持卡人是否通过门禁系统的判别记录。

系统在实际环境运行，进行了相应测试，运行平台以及性

能相关参数如表1所示。

6结束语

本系统结合了RFID射频识别技术与人脸数字图像识别

技术实现了一个身份验证系统。系统在实践中具有实时性、安

全性、有效性。系统可用作实际环境中的自动智能监控系统，在

机场、世博场馆出入口等人员来往场所对出现在RFID解读器

范围内的身边卡进行识别并现场拍摄人脸图片进行身份验证，

具有一定的商业和应用价值。

参考文献：

[1]Viola P，Jones M.Rapid object detection using a boosted cascade

of simple features[C]//Proc2001IEEE Computer Soc Computer Vi－

sion and Pattern Recognition，2001（1）：511-518.

[2]Li S Z.Statistical learning of multi-view face detection[C]//Proc7th

Eur Conf Computer Vision，Copenhagen，Denmark，2002：67-81.

[3]Freund Y，Schapire R E.A decision-theoretic generalization of on－

line learning and an application to boosting[C]//Computational

Learning Theory：Eurocolt’95.[S.l.]：Springer-Verlag，1995：23-37.

[4]Turk M，Pentland A.Eigenfaces for recognition[J].Journal of Cogni－

tive Neuroscience，1991，3：72-86.

[5]Turk M，Pentland A.Face recognition using eigenfaces[C]//Proceed－

ing of IEEE Conference on Computer Vision and Pattern Recog－

nition，1991：1209-1230.

[6]Etemad K，Chellappa R.Discriminate analysis for recognition of hu－

man face images[C]//Proceeding of International Conference on A－

coustics，Speech and Signal Processing，1994：2148-2151.

表1系统参数

计算机硬件

计算机操作系统

摄像头型号

视频采集卡型号

视频采集帧率

RFID解读器型号

RFID卡内信息解析时间

人脸检测时间

人脸验证时间

Pentium4CPU3.00GHz2.99GHz，1.00G内存

Windows XP SP2

Sony SSC-E453P

Osprey-2X0AV Stream Video Device

5f/s

ZHIF100S，支持RS232接口，最大感应距离100cm

≤3s

≤70ms

≤260ms

（下转248页）

词汇量（词）10

203040

训练方法

FNN RBF

FNN RBF FNN RBF FNN RBF

15

91.080.190.881.590.783.191.684.920

91.481.592.982.192.785.293.385.725

93.882.595.283.393.786.395.587.330

94.882.494.584.194.886.395.988.4

Clean 94.885.994.586.594.688.995.6.3

最大差值3.85.84.45.04.15.84.34.4

SNR/dB

表1

改进的FNN 算法和RBF 识别率比较

（%）

δ（2）

ij =-鄣E 鄣μij =-鄣E 鄣αj 鄣αj 鄣μij =1N adj δ（3）j n

i =1

仪μ1

N adj

ij μ-1ij

（13）

△c ij =

鄣E 鄣μij 鄣μij

鄣c ij

=-δ（2）ij 2（x i -c ij ）σ

2

ij

e -（x i -c ij ）2

σ2ij

（14）

△σij =鄣E 鄣μij 鄣μij

鄣σij

=-δ（2）ij 2（x i -c ij ）2

σ

3

ij

e -（x i -c ij ）

2

σ2ij

（15）

式中δ（4）

i 、δ（3）

j 和δ（2）

ij 分别是代价函数对第四、三和二层的一阶梯度，△w ij 、△c ij 和△σij 分别为w ij 、c ij 和σij 的调整误差。

各可调整参数的学习算法为：

w ij （t +1）=w ij （t ）+LR △w ij +NR （w ij （t ）-w ij （t -1））（16）c ij （t +1）=c ij （t ）+LR △c ij +NR （c ij （t ）-c ij （t -1））（17）σij （t +1）=σij （t ）+LR △σij +NR （σij （t ）-σij

（t -1））（18）

式中，LR >0为学习速率，NR >0为动量因子。

5实验方法及结论

5.1网络训练与识别

（1）语音数据

实验所采用的语音样本均为孤立词，语音信号采样率为

11.025kHz ，帧长10ms ，110个样点，帧移为5ms 。本次实验使用词汇量分别为10词、20词、30词、40词，

分别是9人在无噪音、15dB 、20dB 、25dB 、30dB 下的发音作为训练数据库，每个人每个词发音3次。用另外7人在相应SNR 下的发音进行识别[5]，得到不同SNR 下和不同词汇量下的基于T-S 模糊神经网络的语音识别结果。

（2）网络结构实验中，输入向量由ZCPA 特征[6]参数构成，即每个人每个单词的每次发音所产生的特征矢量构成一个特征文件，经处理后得到×16维的语音特征矢量序列作为训练识别网络的输入。网络的输入层节点数应与输入向量的维数一致。网络推理层的节点数用减法聚类算法确定，通过对输入数据提取可能的聚类中心，并对所有训练数据的中心数取平均数作为网络推理层的规则数，实验中网络的规则数为32。实验采用待分类的模式类别数作为输出层的节点数，即为待识别词汇数。如果对30词进行识别，相应的就有30种待分类模式，输出层的节点数为30。

（3）网络训练

以10个词在无噪音环境下为例，使用10个词的无噪音语音特征训练网络，把每个训练特征文件对应于一个单词分类号，并把这个分类号作为网络期望的输出值。训练方法采用负梯度下降算法，根据单词分类号不断的修改网络的中心、宽度和权值直到满足预先设置的误差精度。实验中取设置网络的学习因子NR 为0.3，动量因子LR 为0.02，补偿因子N adj 为n /4，误差精度设为0.0001，最大学习次数为1500。

（4）网络识别

模糊神经网络的参数确定后，将测试集中的单词输入网络分别进行识别测试。每输入一个单词的1024维特征向量，经模糊化层、模糊推理层、反模糊化层的计算后可以得到一个单

词分类号，将这个分类号与输入特征向量自带的分类号比较，相等则识别正确，反之，识别错误。最后将识别正确的个数与所有待识别单词数作比值即可得到最终的识别率。

5.2实验结果及结论

表1为改进后的T-S 模糊神经网络与RBF 网络在不同

SNR 和不同词汇量下识别率的比较。

从表1中可以看到在不同词汇和不同信噪比条件下，模糊神经网络要比RBF 网络的识别率高。其次，比较两种方法识别率的最大差值，可以看出模糊神经网络在不同词汇识别率的最大差值均小于RBF 网络，

表明模糊神经网络有较好的鲁棒性，因此可以作为进一步研究抗噪语音识别的基础。但缺点是训练较慢，这可在以后的研究过程中加以改进。

参考文献：

[1]王丽芳，

满达虎，陈建群.基于模糊神经网络的气体检测[J].传感器世界，2006，3：30-38.

[2]Du Hai -ping ，Zhang Nong.Application of evolving Takagi -Sugeno

fuzzy model to nonlinear system identification[J].Applied Soft Com －puting Journal ，2008，8（1）：676-686.

[3]王立新，

王迎军.模糊系统与模糊控制教程[M].北京：清华大学出版社，2003.

[4]张恂，

湛成伟，邓耀文，等.一种快速减法聚类算法[J].西南师范大学学报，2006，31（3）：136-129.

[5]白静，

张雪英，侯雪梅.基于RBF 神经网络的抗噪语音识别[J].计算机工程与应用，2007，43（22）：28-30.

[6]焦志平，

张雪英，赵姝彦.一种基于听觉模型的抗噪语音识别特征提取方法[J].太原理工大学学报，2005，36（1）：13-15.

[7]Belhumeur P N ，Hespanha J P ，Kriegman D J.Eigenfaces vs fisher －

faces recognition using class specific linear projection[C]//Proceed －ing of European Conference on Computer Vision ，1996.

[8]Swets D ，Weng J.Using discriminant eigenfeatures for image re －

trieval[J].Proceeding of IEEE Transaction on Pattern Analysis and Machine Intelligence ，1996，18（8）：831-836.

[9]Weng J.On comprehensive visual learning[C]//Proceeding of NSF/

ARPA Workshop on Performance vs Methodology in Computer Vi －sion ，1994：152-166.

[10]Yu Bing ，Jin Lian -fu ，Chen Ping.A new LDA-based method for

face recognition[C]//Proceeding of IEEE International Conference on Pattern Recognition （ICPR ），2002.

[11]Lu Ju-wei ，Plataniotis K N ，Venetsanopoulos A N.Face recognition

using LDA-based algorithms[J].Proceeding of IEEE Transaction on Neural Networks ，2003，14（1）.

（上接245页）