多视角三维人脸识别中的特征提取

模式识别

您的论文得到两院院士关注

１引言

目前的二维人脸识别系统在解决头部姿态和光照条件方面还存在着困难，这导致即使同一个人在不同环境下拍摄的人脸二维照片也不相同，甚至会有很大的差异。

不管是在二维还是三维的系统中，将人脸特征量度数据和库中模板的配准都是必要的。基于相应特征点的配准是其中一种非常重要的方法。其中，鲁棒的人脸特征提取又是非常重要的。随着大量的头部姿态的变化，正面人脸图像中某些点的提取方法可能就不适应了。因此，头部姿态也被认为是要提取的一个特征。然而，在人脸识别的研究中都很少涉及到大量姿态变化的情况。

我们的文章关注的就是自动提取特征点并进行姿态大量变化时的头部姿态估计。提取出来的特征点可用于后续的人脸识别工作，我们可以对数据库中的三维人脸模型进行偏转，使之与二维人脸照片的姿态保持一致，而后计算三维模型的多个特征向量，对投影结果与二维照片进行相似性度量，而后进行识别。这些都是我们要继续研究的地方。

２特征提取

我们先从不同姿态的二维图像中提取出鼻尖点，同时对姿态进行估计。然后对内、外眼角点和嘴角点进行提取。

２．１人脸分割

人脸识别系统的第一步就是从背景中提取面部区域。利用图像的灰度信息从复杂的背景中检测人脸会产生较高的误警率。区域增长利用人脸图像的梯度、方差等信息对人脸图像的分割显示了很好的性能，把一幅人脸图像以大小相同的份额分成Ｎ个区域Ｒｉ，在Ｒｉ中选出一颗种子像素ｓ（ｉ，ｊ），初始化增长区域Ｃｉ为１，定义能反映该区域内成员隶属程度的梯度参数Ｇ．分别计算ｓ（ｉ，ｊ）与它的８个相邻域像素的梯度值

Ｇ＝｜ｓ（ｉ，ｊ）－ｓ（ｉ－１，ｊ）｜＜Ｈ（２）

当Ｇ小于给定的阈值Ｈ，增长区域Ｃｉ的像素个数增加１，并对增加的像素加以标记，依次迭代可以把图像分割成小于或等于２Ｎ个区域。再对相邻的区域边界进行考查，允许强

边界存在，消除弱边界，合并增长的区域，最终从原图像中分割出人脸图像。

２．２鼻尖点和姿态估计

图１

鼻尖点是人脸中非常特殊的部位，对面部表情变化不敏感。人脸扫描姿势是通过相对与正面姿势的旋转角度来表示的。对一个正面人脸扫描图像，鼻尖点总会有最大的Ｚ值。然而，随着

多视角三维人脸识别中的特征提取

ＦｅａｔｕｒｅＥｘｔｒａｃｔｉｏｎｉｎＭｕｌｔｉｖｉｅｗ３ＤＦａｃｅＲｅｃｏｇｎｉｔｉｏｎ

（西北大学可视化研究所）孙亦博

耿国华周明全

ＳＵＮＹＩＢＯＧＥＮＧＧＵＯＨＵＡＺＨＯＵＭＩＮＧＱＵＡＮ

摘要：针对二维人脸识别系统在姿态发生较大变化就难以识别的问题，利用三维人脸数据姿态不变性的特征，提出了一个基于方向最大值的方法来估计鼻尖点，同时也给出姿态的角度。用子空间表示的鼻子轮廓模型被用来选择鼻尖点的最可行的候选点。另外，利用ＳＵＳＡＮ算子提取边缘，并与方向积分投影等方法结合，快速准确的定位内外眼角点和嘴角点。实验证明该方法可以保证达到和手工自动标定特征点相差无几的准确率。关键词：多视角三维人脸识别；特征提取；ＳＵＳＡＮ算子

中图分类号：ＴＰ３９１

文献标识码：ＡＡｂｓｔｒａｃｔ：Ａｉｍｉｎｇａｔｑｕｅｓｔｉｏｎｓｔｈａｔ２Ｄｆａｃｅｒｅｃｏｇｎｉｔｉｏｎｓｙｓｔｅｍｓｈａｖｅｅｎｃｏｕｎｔｅｒｄｉｆｆｉｃｕｌｔｉｅｓｉｎｒｅｃｏｇｎｉｚｉｎｇｆａｃｅｓｗｉｔｈｌａｒｇｅｐｏｓｅｖａｒｉａ－

ｔｉｏｎｓ，ｕｔｉｌｉｚｉｎｇｔｈｅｐｏｓｅ－ｉｎｖａｒｉａｎｔｆｅａｔｕｒｅｓｏｆ３Ｄｆａｃｅｄａｔａ，ａｍｅｔｈｏｄｂａｓｅｄｏｎｔｈｅｄｉｒｅｃｔｉｏｎａｌｍａｘｉｍｕｍｉｓｐｒｏｐｏｓｅｄｔｏｅｓｔｉｍａｔｅｔｈｅｎｏｓｅｔｉｐｌｏｃａｔｉｏｎａｎｄｔｈｅｐｏｓｅａｎｇｌｅｓｉｍｕｌｔａｎｅｏｕｓｌｙ．Ａｎｏｓｅｐｒｏｆｉｌｅｍｏｄｅｌｒｅｐｒｅｓｅｎｔｅｄｂｙｓｕｂｓｐａｃｅｓｉｓｕｓｅｄｔｏｓｅｌｅｃｔｔｈｅｂｅｓｔｃａｎｄｉ－ｄａｔｅｓｆｏｒｔｈｅｎｏｓｅｔｉｐ．ＢｕｙｕｓｉｎｇＳＵＮＳＡＮｏｐｅｒａｔｏｒｔｏｅｘｔｒａｃｔｔｈｅｃｏｒｎｅｒｐｏｉｎｔｓａｎｄｃｏｍｂｉｎｅｄｗｉｔｈｄｉｒｅｃｔｉｏｎａｌｉｎｔｅｇｒａｌｐｒｏｊｅｃｔｉｏｎ．Ｅｘ－ｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔｔｈｉｓｍｅｔｈｏｄｐｒｏｖｉｄｅｓｒｅｃｏｇｎｉｔｉｏｎａｃｃｕｒａｃｙｔｈａｔｉｓｃｏｍｐａｒａｂｌｅｔｏｔｈｅａｃｃｕｒａｃｙｏｆａｓｙｓｔｅｍｗｉｔｈｍａｎｕａｌｌｙｌａｂｅｌｅｄｆｅａｔｕｒｅｐｏｉｎｔｓ．

Ｋｅｙｗｏｒｄｓ：ｍｕｌｔｉｖｉｅｗ３ＤｆａｃｅｒｅｃｏｇｎｉｔｉｏｎｆｅａｔｕｒｅｅｘｔｒａｃｔｉｏｎＳＵＳＡＮｏｐｅｒａｔｏｒ

文章编号：１００８－０５７０（２００７）０７－１－０２７７－０２

孙亦博：硕士

基金项目：国家自然科学基金（６０５７３１７９）

新

大量姿态的改变，就不完全是这样了。但是，如果最开始的坐标

系统就和非正面的人脸图像偏转一样的角度，鼻尖点就会在偏

转过的Ｚ轴上取得最大值，我们把它叫做方向最大值。因为鼻

尖点和姿态角度是相关的，我们就对他们同时进行估计。

我们以一个向侧面偏转一定角度的例子来说明我们提出的

算法。当人脸的原始扫描图像位于它的质心上，鼻尖点的提取

和姿态的估计算法就分为以下５步：

（１）姿态量化。偏转角度在Ｘ－Ｚ平面内从－９０度到９０度。该

１８０度范围被量化为Ｎｐｏｓｅ个角且每个角有相同间隔△θ。（在

此，△θ和Ｎｐｏｓｅ的值分别是２度和９１）见图１。

（２）方向最大值。在每个姿态角θｊ（ｊ＝１…，Ｎｐｏｓｅ）处，找出沿相

应姿态方向有最大投影值的点作为鼻尖点的候选点。当每一个

脸部的点Ｐｉ（ｉ＝１，…，Ｎ，Ｎ是人脸中有效点的总数）的坐标（Ｘｉ，Ｙｉ，Ｚｉ）

按照θｊ的姿态角被偏转到一个新的姿态（Ｘｉθｊ，Ｙｉθｊ，Ｚｉθｊ）时，计算为

Ｚｋθｊ＝ｍａｘ（Ｚｉθｊ，ｉ＝１，．．．，Ｎ）的点Ｐｋ被选作相应角度θｊ的鼻尖候选点，

对每个θｊ都重复上面的计算，就获得了Ｍ个候选对（鼻尖候选

点Ｐ和相应的姿态角θ）。同一脸部点Ｐ在不同的θｊ处有可能都

会取得方向最大值，Ｍ≤Ｎｐｏｓｅ．在这种情况下，有最大投影值的

的角被选作点Ｐ的姿态角。为了从Ｍ对中选取最好的候选点，

在进行了姿态校正

的面部扫描图中，鼻尖点的提取就变得十分重要了。

（３）姿态校正。对每一个候选对（Ｐ，θ），所有人脸原始点的坐标

（ｘ，ｙ，ｚ）被变换为（ｘˊ，ｙˊ，ｚˊ），这样点Ｐ就处于源位置上（相对现

在的坐标来说），人脸的点就按照姿态角θ作如下的旋转：

（４）鼻子轮廓提取。从基于每一个候选点（Ｐ，θ）的姿态校正

扫描图中，提取Ｐ点的鼻子轮廓（姿态校正过的源坐标系统），

例如，人脸表面和Ｙ－Ｚ平面的交叉点。让Ｘˊ（ｒ，ｃ），Ｙˊ（ｒ，ｃ），Ｚˊ

（ｒ，ｃ）表示姿态校正后的点坐标阈值。对每一行ｒｉ，找与Ｙ－Ｚ平

面最近的点，（ｒ

ｉ

，ｃｉ）＝ａｒｇｍｉｎ（｜Ｘˊ（ｒｉ，ｃ）｜），产生了一个序列的点（Ｙ

ˊ（ｒ

ｉ

，ｃｉ），Ｚˊ（ｒｉ，ｃｉ））．为了使轮廓可比较，每一个轮廓都通过将

其鼻尖点放在中心而且沿ｙ轴以相同的间隔重取样，产生一

个鼻子轮廓的向量。线性插分被用于重采样。

（５）鼻尖点提取。要从候选对（ｐ，θ）中识别出鼻尖点，我们在

鼻子轮廓向量空间中应用了子空间分析。一定数量的鼻子轮廓

用手工标定鼻尖点和姿态的方法从的个体中提取出来，对

齐鼻尖点，按照步骤４所示的方法重采样，产生了一个训练集

｛Ｖｉ｝。这些（训练集）鼻子轮廓被用来按ＰＣＡ构建鼻子轮廓的子空

间。给出一个训练轮廓向量Ｖ，特征空间距离被用作距离阈值。

有最小ＤＦＦＳ的鼻子候选点被认为是鼻尖点且相应的姿态角度

被用作最终的姿态估计的角度。

２．３眼角的自动定位

在眼角的自动定位过程中，先根据人脸先验知识，采用归一

化模板匹配的方法初步定位人脸。

在粗定位的基础上，定位两眼的敏感区域，并且利用两眼之

间的相关性可以提高眼睛定位的准确度。对脸部区域的左上和

右上部分进行梯度图积分投影，并对积分投影的直方图进行归

一化，首先根据水平投影的谷点确定出眼睛在ｙ方向的大致位

置，然后让ｘ在较大的范围内变化，寻找此区域内的谷点，将检

测到的点作为两眼的眼球中心点。

在获得两眼球位置的基础上，对眼部区域进行处理，首先采

用自适应二值化方法确定门限阈值，得到眼部区域的自动二值

化图像，然后结合Ｓｕｓａｎ算子，利用边缘和角点检测的算法在眼

部区域内准确定位内外眼角点。经过上述算法获得的眼部区域

边缘，在此基础上对边缘曲线进行角点提取即可获得准确的两

眼内外眼角点位置，提取结果见下页图２所示。

图２眼睛区域处理示意图

２．４嘴角的自动定位

由于嘴角点的位置受表情等影响相对变动较小，角点的位

置较准确，所以采取嘴部区域的重要特征点为两个嘴角点的定

位方式。

首先利用区域灰度积分投影的方法确定自鼻尖点以下Ｙ

坐标投影曲线的第一个谷点作为嘴巴的Ｙ坐标位置；然后选定

嘴巴区域，对区域图像利用Ｓｕｓａｎ算子进行处理，得到嘴部边缘

图后；最后进行角点提取，便可以获得两个嘴角的精确位置，如

图３所示

图３嘴角定位结果

３试验结果与分析

我们用Ｏｌｉｖｅｔｔｉ－Ａｔｔ－ＯＲＬ数据库进行了测试，该数据库给

出的是一些正面的和头部有一定角度偏转的人脸照片，所有特

征点的定位效果接近手工标定的结果。本文所给出的特征提取

方法在图像质量较好时对表情和光照变化不太敏感，但是强的

侧光会对其造成一定的影响。本文所提出的方法简单，准确，是

一种可行的人脸特征点定位方法。（下转第２１８页）技术创新

图２获得文本图形块高度和宽度的处理策略

４文本标注示例

图３文本标注示例图

绘制文本标注时，由于涉及到标注文本内容的输入等操作，

单靠鼠标不能完成所有的绘制过程，所以利用鼠标和无模式对

话框相结合，来完成标注文本的交互绘制功能。当单击配电网

ＣＡＤ系统“绘图”菜单下“文本”菜单项或者单击工具栏“Ａ”后，

用鼠标左键在屏幕视图中点选标注文本的起点，系统就会弹出

“输入或修改标注文本”对话框。其中有一个编辑框，当在编辑

框中输入标注文本的内容时，会马上在视图上给出标注文本；当

单击“高级”按钮时，弹出“字体”设置对话框，设置字体属性；当

单击对话框的“确定”按钮时，会完成本次文本标注工作并退出

对话框，系统会保存绘制的标注文本对象；当单击“取消”按钮

时，系统会放弃本次文本标注操作并退出对话框；当用鼠标左键

双击文本标注图形时，也弹出“输入或修改标注文本”对话框，用

户可以在文本框里修改文本，在视图中将会即时显示修改后的

效果，实现动态更新。文本标注示例图如图３所示。

５结束语

介绍了矢量绘图系统中文本标注技术的实现方法，并在配

电网ＣＡＤ系统中得到了具体应用，运行效果良好。

本文作者创新点：给出了文本标注在以ＭＦＣ文档视图构架

的矢量绘图系统中的实现方法，具有了ＡｕｔｏＣＡＤ软件文本标注

的常见功能，对于ＣＡＤ绘图系统的开发有借鉴意义。

参考文献

［１］陈建春．ＶｉｓｕａｌＣ＋＋开发ＧＩＳ系统（第２版）［Ｍ］．电子工业出版

社，２００４．

［２］田杰．地理信息系统中的算法的研究［Ｊ］微计算机信息，２００３，７．

［３］廖宇兰．使用ＡｕｔｏＣＡＤ２００２输入文本与标注尺寸和技术要求

的技巧［Ｊ］．华南热带农业大学学报，２００３，９（４）

作者简介：李兰友（１９８３－），男，汉族，河南周口人，南京工业大学硕

士研究生，研究方向：ＣＡＤ／ＣＡＭ．黄晓伟（１９８３－），男，工程师；邵定

宏（１９５９－），男，汉族，江苏阜宁人，副教授，主要研究方向：神经网

络，网络技术。陶科（１９８１－），男，硕士，主要从事配电网ＣＡＤ方

面的研究。

Ｂｉｏｇｒａｐｈｙ：ＬｉＬａｎ－ｙｏｕ（１９８３－），Ｍａｌｅ，Ｈａｎ，Ｚｈｏｕｋｏｕ，Ｈｅｎａｎ

ｐｒｏｖｉｎｃｅ．ＭａｓｔｅｒｓｔｕｄｅｎｔｏｆＮａｎｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，

ＭａｊｏｒｉｎＣＡＤ／ＣＡＭ．

（２１０００９南京工业大学信息科学与工程学院）李兰友黄晓伟

邵定宏陶科

（ＣｏｌｌｅｇｅｏｆＩｎｆｏｒｍａｔｉｏｎＳｃｉｅｎｃｅａｎｄＥｎｇｉｎｅｅｒｉｎｇ，Ｎａｎｊｉｎｇ

ＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｎａｎｊｉｎｇ２１０００９，Ｃｈｉｎａ）ＬｉＬａｎＹｏｕ

ＨｕａｎｇＸｉａｏＷｅｉＳｈａｏＤｉｎｇＨｏｎｇＴａｏＫｅ

通讯地址：（２１０００９南京市新模范马路５号南京工业大学丁

家桥１０７信箱）李兰友

（收稿日期：２００７．５．１３）（修稿日期：２００７．６．１５）

（上接第２７８页）

４总结和未来的工作

我们给出了一个定位鼻尖点和头部姿态，同时也定位二维

扫描图像中其它面部特征点的方法，提取出的特征被用作多视

角的人脸扫描图像与存储的三维模型进行配准。文中所提出的

方法在解决整个三维空间的计算消耗粗略估计是很大的，因此，

我们要努力寻找更高效的方法，选取最可信的特征点进行后续

的匹配，尽可能的减小匹配的误差。

本文作者创新点：提出了一个基于方向最大值的方法来估

计鼻尖点，同时也给出姿态的角度，可改善二维人脸识别中姿态

发生较大变化时就难以识别的问题。

参考文献

［１］Ｃ．ＢｏｅｈｎｅｎａｎｄＴ．Ｒｕｓｓ．Ａｆａｓｔｍｕｌｔｉ－ｍｏｄａｌａｐｐｒｏａｃｈｔｏｆａｃｉａｌ

ｆｅａｔｕｒｅｄｅｔｅｃｔｉｏｎ．Ｉｎｒｏｃ．７ｔｈＩＥＥＥＷＡＣＶ，ｐａｇｅｓ１３５－１４２，

Ｂｒｅｃｋｅｎｒｉｄｇｅ，ＣＯ，Ｊａｎ．２００５

［２］ＸｉａｏｇｕａｎｇＬｕａｎｄＡｎｉｌＫ．Ｊａｉｎ．ＭｕｌｔｉｍｏｄａｌＦａｃｉａｌＦｅａｔｕｒｅ

ＥｘｔｒａｃｔｉｏｎｆｏｒＡｕｔｏｍａｔｉｃ３ＤＦａｃｅＲｅｃｏｇｎｉｔｉｏｎ

［３］李华胜，杨桦，袁宝宗．人脸识别系统中的特征提取．北方交

通大学学报．２００１年第２５卷第２期

［４］郭群，王志良，郭建波．视频图像中的人脸识别．［Ｊ］微计算机信

息．２００５年第３期

［５］陈启泉，邱文宇，陈维斌．标准正面人脸图像的特征提取．华

侨大学学报．２０００年第２１卷第４期

作者简介：孙亦博，西北大学可视化研究所，女，１９８１年１１，河

南省洛阳市栾川县硕士，研究方向：图形图像；耿国华、周明全

教授博士生导师研究方向：数字图像处理，科学计算可视化

（７１０１２７西安西北大学可视化研究所）孙亦博耿国华周明全

（ＩｎｓｔｉｔｕｔｅｏｆＶｉｓｕａｌｉｚａｔｉｏｎＴｅｃｈｎｏｌｏｇｙ，ＮｏｒｔｈｗｅｓｔＵｎｉｖｅｒｓｉｔｙ，

Ｘｉ’ａｎ，７１０１２７）ＳｕｎＹｉＢｏＧｅｎｇＧｕｏＨｕａＺｈｏｕＭｉｎｇＱｕａｎ

通讯地址：（西北大学可视化研究所西安７１０１２７）孙亦博

（收稿日期：２００７．４．１３）（修稿日期：２００７．５．１５）