基于VB的VB人脸表情识别研究系统

人脸是人最重要的外貌特征，由于脸部信息可以通过非接触的方式（如摄像头）取得，所以非常适合于作为身份鉴别的依据。人脸识别就是对于输入的人脸图像或者视频，首先判断其中是否存在人脸，如果存在人脸，则进一步确定每张人脸的位置、大小和各个主要面部器官的位置信息，并依据这些信息，进一步提取每张人脸中所蕴含的身份特征，并将其与已知人脸库中的人脸进行对比，从而识别每张人脸所代表的个人。

人脸识别是一个交叉学科，它的研究内容涉及计算机视觉、模式识别、计算机图形学、图像处理、生理学、心理学、认知科学等。人脸识别技术可采用非接触式的、连续的和实时的方式，在国家安全、军事安全和公安、司法、民政、金融、民航、海关、边境、口岸、保险及民用等领域实际应用具有极广阔的前景。这一技术典型应用如下：

（1）身份鉴定（一对多的搜索）：在鉴定模式下，确定一个人的身份，该技术可以快速地计算出实时采集到的面纹数据与面像数据库中已知人员的面纹数据之间的相似度，给出一个按相似度递减排列的可能的人员列表，或简单地返回鉴定结果（相似度最高的）和相对应的可信度。

（2）身份确认（一对一的比对）：在确认模式下，待确认人已知的面纹数据可以存储在智能卡中或数码记录中，该技术只需要简单地将实时的面纹数据与存储的数据相比对，如果可信度超过一个指定的阀值，则比对成功，身份得到确认。

（3）监视：可以在监控范围内发现人脸，而不论其远近和位置，能连续地跟踪该人脸图像并将其从背景中分离出来，将面像与监控列表进行比对。整个过程完全是无需干预的，连续的和实时的。

（4）面像数据压缩：能将面纹数据压缩到84字节以便用于智能卡、条形码或其他仅含有有限存储空间的设备中。

（5）多通道的人机交互界面:可以把跟踪得到的人脸表情作为一种人机交互的手段。为使用者提供一个个性化、智能、便捷的工作环境，这也是智能计算机研究的重要内容。

人脸表情识别研究的主要目的在于：

（1）在人机接口中实现计算机对人脸面部表情的自动识别；

（2）在视频片段检索中实现面部表情的跟踪与识别；

（3）研究人脸表情编码模型，解决低带宽的脸部数据传输、多媒体中的脸部图像压缩等问题。

进行这项研究的意义在于：

（1）作为情感计算研究的重要组成部分，可以有效地促进人机交互系统的发展和计算机图像理解的研究；

（2）对实现人体语言与自然语言的融合，以及语言与表情连接模型的建立与实现具有重要意义；

（3）可以为表情合成、与表情无关的人脸检测与跟踪、人脸识别等领域的研究提供理论基础；

这些年表情识别技术发展相当迅速，北京奥运将首次使用人脸识别综合报警系统，这里我们简单介绍一下在2008年北京奥运会使用的人脸识别系统的主要功能：

（1）对所有进出机场、海关、火车站、奥运场馆的人通过摄像机自动识别;人员通行考勤、外人登记、生物特征人脸识别验证真伪。

（2）对于危险人摄像机自动识别，向网络报警中心报警。

（3）对不受欢迎的人，一经录入，自动识别防止进入。

（4）各种工人、后勤、食品运送人员自动人脸识别，未经登记授权限制进入。

（5）对于恐怖行危险人员、情绪偏激不稳定人员、牵连到奥运场馆和奥运活动区域群体事件的问题人员和等影响社会稳定人员，自动识别人脸，防止进入奥运区;并且根据人脸等生物特征智能查询进出纪录。

（6）对于奥运场馆和奥运活动区域内各种服务实现不用带卡的自动人脸识别安全服务和优质服务。

（7）对于党和政府的领导通过联网自动人脸识别掌握奥运活动区域准确人员管理情况、预估风险实现远程管理和控制。

人脸表情识别和理解(Face Recognition)的研究范围广义上大致包括以下5个方面的内容：

（1）人脸检测(Face Detection):即从各种不同的场景中检测出人脸的存在并确定其位置。这一任务主要受光照、噪声、面部倾斜度以及各种各样遮挡的影响。

（2）人脸表征(Face Representation):即采取某种表示方式表示检测出的人脸和数据库中的已知人脸。通常的表示法包括几何特征(如欧氏距离、曲率、角度)、代数特征〔如矩阵特征矢量)、固定特征模板、特征脸等。

（3）人脸识别(Face Identification):即将待识别的人脸与数据库中的已知人脸比较，得出相关信息。这一过程的核心是选择适当的人脸的表征方式与匹配策略，系统的构造与人脸的表征方式密切相关。

（4）表情/姿态分析(Expression/Gesture Analysis):即对待识别人脸的表情或姿态信息进行分析，并对其加以归类。

（5）生理分类(Physical Classification) 即对待识别人脸的生理特征进行，得出其年龄、性别等相关信息。

现阶段的研究当中，完整的人脸识别系统至少包括三个主要环节。首先在输入图像中找到人脸的位置，将人脸从背景中分割出来；其次，将分割后的人脸图像进行特征提取和定，最后根据提取的特征进行人脸识别。如图1.1所示：

人脸图像检测与定位就是在输入图像中找到人脸确切的位置,它是人脸表情识别的第一步。人脸检测的基本思想是用知识或统计的方法对人脸建模,比较待检测对象与所建的人脸模型的匹配程度,从而得到可能存在人脸的区域。根据思想的不同基本上分为下面两种检测方法:

(1)基于统计的人脸检测

是将人脸图像视为一个高维向量,将人脸检测问题转化为高维空间中分布信号的检测问题。

(2) 基于知识的人脸检测

是利用人的知识建立若干规则,从而将人脸检测问题转化为假设→ 验证问题。

（1） 样本学习:将人脸检测视为从非人脸样本中识别人脸样本的模式分类问题,通过比较人脸样本和非人脸样本来提取各自的特征，进行学习来产生分类器。目前国际上普遍采用的是人工神经网络。

（2） 模板法:模板法是把测试样本与参考模板进行比较,由阈值大小来判断测试样本是否是人脸。阈值一般是通过对大量的模板进行统计得来的，并不是一个固定的值。

（3） 子空间方法:Pentland 将KL 变换引入了人脸检测,利用主元子空间(特征脸) ,而人脸检测利用的是次元子空间(特征脸空间的补空间) 。用待检测区域在次元子空间上的投影能量,也即待检测区域到特征脸子空间的距离作为检测统计量,距离越小,表明越像人脸。子空间方法的特点在于简便易行,但由于没有利用反例样本信息,对与人脸类似的物体辨别能力不足。

（1）人脸规则:人脸规则是人脸遵循的一些几乎是普遍适用的空间相关性。它包括: ①灰度分布规则。如五官的空间位置分布大致符合“三停五眼”等,人脸不同区域的明暗关系不变,眼睛的灰度总是比前额和颧骨低,鼻梁的灰度一般比两侧亮等。②轮廓规则。人脸的轮廓可以简单地看成一个近似椭圆,而人脸检测可以通过椭圆检测来完成。③运动规则。通常相对背景人总是在运动的,利用运动信息可以简单有效地将人从任意复杂背景中分割出来。

（2） 颜色、纹理信息:同一种族人的面部肤色在颜色空间中的分布相对比较集中,颜色信息在一定程度上可以将人脸从大部分背景区分开来。

（3） 对称性:人脸具有一定的轴对称性,各器官也具有一定的对称性。Reisfeld 提出广义对称变换方法^{[1]检测局部对称性强的点来进行人脸器官定位。}

    本文的章节做如下安排。第一章绪论介绍量表情识别研究的目的意义和现状；第二章对人脸检测与定位方法、脸部特征定位方法、人脸识别方法作了综述；第三章在上述方法的基础上，重点叙述了毕业设计采用的方法，并用VB开发了一个人脸表情识别系统；第四章对面部表情识别技术以后的发展方向和工作重点做了总结。

前面所介绍的表情识别实现方法都取得了一定的效果，对表情识别的发展起到了很大的作用。已经有许多关于人脸表情识别方面的研究，但是对特定人脸表情的再现效果还不是特别理想，使用一般人脸模型进行变形来表现特定人脸的表情时，是通过一组特征点的位置变换来得到一个新的人脸网格模型，当稳定一个特征点匹配到图像上的特征位置时，变形算法模拟人脸皮肤的粘弹特性，自动计算出与该移动相关的网格点的新坐标位置，这样就存在匹配程度和逼真程度的问题了，这是因为一般人脸模型已经固定，采用固定算法虽然能够模拟人脸皮肤的变化，但是大部分采用的还是一般人脸模型的样子，这样就对特定人脸表情的再现有一定的虚假性。能否直接采用特定真人脸的表情特征点（位置、灰度值）来建立特定人脸的表情模型，在仿真真人脸表情动画中的一个关键技术就是要提取真人表情的特征点，找出特征点运动前后的关系，确定特征点运动后的位置，以便来建立真人面部表情模型。在这方面还需要做的工作就是要建立真人表情点的提取系统，为实现仿真真人脸部表情动画系统做准备，因为通过对三维视图中相关二维视图特征的识别与匹配，就可以完成三维基本特征体素的提取及关系判断即三维重建。

人脸特征提取又称人脸描述，是在基于人脸定位的基础上进行人脸的各特征提取的过程，也是对人脸进行特征建模（精细建模）的过程。建立的特征模型主要用于区分各人脸之间的差异性，为人脸识别分类打下基础^{[39]。目前，人脸特征提取方法按特征提取思路一般可分为两大类：①基于整体思想[40]，把定位后的人脸图像灰度分布整个作为一个特征模式。该方法的主要流程为：图像尺寸方向标准化（仿射变换）、灰度分布归一化；特征维数压缩（数据压缩）；提取相应特征进行识别。其优点是不需要进行人脸特征检测分割可直接通过预处理、定位后进行人脸识别，不受图像整体平均灰度的变化影响，对图像分辨率不太敏感；缺点是受人脸定位不准、背景变化、光线不均匀变化较大，且随着图像数据库的急剧增大，人脸识别正确率逐渐下降。②基于局部思想，先求人脸各器官等的特征，然后由此张开成人脸特征模型。该方法主要流程是先基于各器官的分布知识进行人脸特征建模，然后各特征检测提取并分类识别。它又可分为2种：a.基于各器官边界特征的提取[41]；b.局部特征PCA方法，提取特征眼、特征鼻、特征嘴等。其优缺点与基于整体思想方法基本相同，但对人脸图像分辨率有一定的要求，相应的局部器官区域要求有一定的面积。}

目前，静止图像的人脸识别方法主要有三个研究方向：一是基于统计的识别方法，包括特征脸（Eigenface）方法和隐马尔科夫模型（Hidden Markov Model）方法；二是基于连接机制的识别方法，包括一般的神经网络方法和弹性图匹配（Elastic Graph Matching）方法；三是其他一些综合方法或处理非二维灰度图像的方法^[42]。

过去对人脸研究主要集中于人脸识别。虽然表情识别与人脸识别密切相关(例如在人脸检测与定位、人脸跟踪这些环节上是一致的) 但特征提取方法和研究的主要对象有很大区别:人脸识别提取的特征是不同人脸的个体差异(特性) ,面部表情作为干扰信号存在;而表情识别是忽略个体差异,提取人脸在不同表情模式下的差异特征,人脸个体差异成为干扰信号。人脸表情识别是一个跨学科富挑战性的前沿课题,但目前还只是研究课题尚没有进入实用化的领域。成功的人脸表情识别系统(针对二维图像) 至少要包括以下几个因素:

（1）由于外部干扰不可避免,预处理的效果会直接影响识别结果,所以图像预处理要尽量保留有用信息并且抑制和分隔外界干扰。

（2）细节是区分人脸表情的关键,因此选择方法要充分考虑人脸表情细微的形变。

（3）对于人脸表情的各种特征表达方法需要进行比较和选择,要找出合适的人脸表情特征表达方法。

人脸表情识别难度较大,主要难在人脸都是塑性变形体,因此人脸表情不能用经典的几何模型来进行识别分类,更适合用弹性模型来描述。从当前的发展来看采用上述方法的混合法是进一步提高识别率的最有效的途径,这也恰恰符合了人脸表情识别的神经学特性:人脸表情识别是一个整体识别和特征分析的过程。而基于多种类型特征信息融合的混合方法成为发展的主要方向。也就是说,无论对于检测定位还是识别,如何将各种信息最大限度、有机的结合起来加以利用,是有效提高人脸表情识别系统效率的手段。

并且人脸表情识别被认为是人类视觉中独特的过程,生理学和心理学结合对人脸表情的研究很有帮助,但是并不能简单的模仿人类。目前的计算机体系结构的特长是数值计算,应该充分发挥它的计算能力。

   在表情识别领域，国外已经取得了很大成果，我国在这个领域的很多方面的研究很少甚至是一片空白。在学习外国先进技术的同时，我们有要发挥自己的优势，摆脱前人在算法上的影响提出更新更实用的算法。可以预见随着我国科研人员在这个领域的研究，我国的表情识别将会越来越好。

本文主要研究了人脸检测与定位方法，脸部特征定位方法，以及表情识别方法。首先从图片中提取脸部影像，然后对脸部的特征点进行定位，通过脸部的特征点进行表情识别，最终得到识别结果。

在本文中，主要从下面几个方面进行了研究。

首先，研究了人脸检测与定位方法：(1) 基于知识的方法(Knowledge - based Methods)； (2) 特征不变方法(Feature Invariant Approaches)； (3) 模板匹配方法(Template Matching Methods)； (4) 基于外观的方法(Appearance - based Methods)。

 其次，研究了脸部特征定位方法：基于先验规则、基于几何形状信息、基于色彩信息、基于外观信息和基于关联信息等5类。

再次，研究了表情识别的方法：基于几何特征的识别方法，基于整体的识别方法，基于模板的识别方法，基于整体的识别方法，另外还介绍了一些其它的方法。

最后，在研究上述方法的基础上，结合实际的要求和毕业设计的时间，利用VB6.0开发了一个人脸表情识别系统。用这个软件，我们可以对人脸的四中表情——“高兴”“惊讶”“平静”“悲伤”进行自动识别，并以绘图的形式输出表情的识别结果。在这个系统中，计算机会自动读取图像，并对图像进行灰度化、二值化、归一化、表情识别，最终实现表情的识别。

    总之，表情识别的研究在国外已经取得了重大突破，我国的表情识别研究也正在兴起，作为情感计算机的一个重要方面，表情识别对自然化交互具有重要的意义。今后对表情识别的研究应该着重于下面几个方面：

⑴进一步优化已有的算法，减小外界环境对识别过程的影响。

⑵在已有算法的基础上，提出更新的、更好的算法。

⑶利用现有的技术开发具有实用价值的产品，如安全检测系统，司机情绪监测系统等^[43]。

 

本论文（设计）是在导师XXX老师的悉心指导下完成的，X老师以其渊博的知识、宽阔的眼界、敏锐的思维、尤其是丰富的经验给了我非常诚恳的意见，使我受益匪浅。从对表情识别一无所知，到完成表情识别系统的设计，没有陈锋军老师的指导，我的论文是无法完成的。当然在在完成毕业论文（设计）过程中，我也得到了许多人的关心和帮助，我衷心的感谢他们。

首先，我要感谢自动化系的所有老师，是他们在四年的时间里教给我许多自动化方面知识和做人的道理，不仅为我毕业论文（设计）完成奠定了良好的基础，也指导了我以后的成长方向。在此，我一并向他们表示感谢。

其次，我要感谢工自02级的所有同学们。在四年的时间里，我们一起学习，一起生活，度过了美好的大学生活，同时在完成毕业论文（设计）的过程中我们相互讨论、相互学习，没有你们的配合我的研究工作也不会顺利的进行。

最后，我要感谢所有在我成长的道路上，关心、支持、帮助过我的人们。我所取得的每一点成绩都与他们的帮助联系在一起。在我幸运地完成了四年的大学学习生活之际，我真诚地向他们每个人致以深深的谢意！

[1] I. Essa et all.IEEE Trans [M].Dallas:PAMI ,1997 :757～763.

[2] 吕岩.面部表情识别的研究与实现[D].哈尔滨：哈尔滨工业大学,1999.

[3] Ming - Hsuan Yang.,David J Kriegman. Detecting Faces in Images: A Survey [J]. IEEE Trans. Pattern Analysis and Machine Intelligence, 2002 ,24 (1) :34 – 58.

[4] TS Huang ,G Z Yang. Human Face Detection in a Complex Background [J]. Pattern Recognition ,1994 ,27 (1) :53 – 63.

[5] C Kotropoulos.I Pitas[A]//Rule - based Face Detection in Frontal Views Proc [C] . Int’l Conf . Acoustics ,Speech and Signal Processing ,1997. 2537 -2540.

[6] S.A. Sirohey1Human Face Segmentation and Identification Technical Report CS - TR - 3176[R] . Univ. of Maryland , 1993.

[7] H P Graf [A]//et al.Locating Faces and Facial Parts [C].Proc. 1st Int’l Workshop Automatic Face and Gesture Recognition ,1995:41 – 46.

[8] T KLeung. M C Burl[A]//P Perona. Finding Faces in Cluttered Scenes Using Random Labeled Graph Matching[C] . Proc 5th IEEE Int’l Conf . Comput2er Vision ,1995:637 - 644.

[9] KC Yow. R Cipolla1[A]//A Probabilistic Framework for Perceptual Grouping of Features for Human Face Detection[C] . Proc. 2nd Int’l Conf . Automatic Face and Gesture Recognition ,1996:16 - 21.

[10] KC Yow.R Cipolla. Feature - based Human Face Detection [J]. Image and Vision Computing ,1997 ,15 (9) :713 - 735.

[11] K C Yow.R Cipolla[A]//Enhancing Human Face Detection Using Motion and Active Contours[C].3rd Asian Conf . Computer Vision ,1998. 515 - 522.

[12] C.C.Han,et al[A]//Fast Face Detection via Morphology – based Pre2Processing[C] . 9th Int’l Conf . Image Analysis and Processing ,1998:469 - 476.

[13] 彭进业,俞卞章,王大凯.多尺度对称变换及其应用于定位人脸特征点[J] . 电子学报,2002 , 6(3) ：104

[14] 王延江,袁保宗,唐晚芳.一种快速彩色图像中复杂背景下人脸检测方法[J].电子学报,2002 , (10)：11-12 .

[15] T Sakai, MNagao, et al .Line Extraction and Pattern Detection in a Photo2 graph[J].Pattern Recognition ,1969 ,1:233 – 248.

[16] I Craw,H Ellis, J Lishman. Automatic Extraction of Face Features [J] .Pattern Recognition Letters ,1987 ,5 :183 – 187.

[17] J Miao. et al .A Hierarchical Multi scale and Multi angle System for Human Face Detection in a Complex Background Using Gravity - Center Template [J]. Pattern Recognition ,1999 ,32 (7) :1237 – 1248.

[18]Yang G, Huang T S. Human face detection in a complex background[J]. Pattern. Recognition. 1994,27(1):53-63.

[19] Pigeon S. Vandendorpe L. The M2VTS multimodal face database [A]// Lecture Notes in Computer Science LC[C].Crans Montana. Switzerlund.l997,1206: 403-409.

[20] Kanade T. Picture processing by computer complex and recognition of human faces[R]. Deptemem Information Science Kyoto University. Kyoto japan, 1978.

[21] FengG.C,Yuen P C. Variance projection function and its Application to eye detection for human face recognition[N].Pattern Recognition Leters, 1998,19(9).

[22]姜军，张桂林一种基于知识的快速人脸检侧方法[N].中国图像图形学报,2002-7-1(A1).

[23]范宏深，倪国强，申会堂利用几何特性及神经网络进行人脸探侧技术的研究[N].光学技术，2002,28(2):105-107.

[24]T. Kanade ,“Computer recognition of human faces”. Basel & Stuttgart :Birkhauser Verlag. 1977.

[25]A.Lanitis et all.IEEE Trans[J]. PAMI ,1997,19 (7) :743-756.

[26]G.W. Cottrell et al1.Proc of the Int[J] . Neural Network Conf ,1990,10(1): 322-325.

[27] A. J . Calder et al1 ,Vision Research Vol [J]. Neural Network Conf ,1991,22(4):1179-1208.

[28] I. Essa et al1 In .IEEE Trans[J]. PAMI ,1997,12(2) :757-763.

[29] G. R.Bradski ,IEEE Workshop Application of Computer Vision[J] .Neural Network Conf,1998,4(1):214-219.

[30] J . J . J .Lien , CMU - RI - TR - 98 - 31 .Ph. D[J]. dissertation ,1998,1(1):200-231.

[31] A. Peng et all. GA Technical Report 30332 - 0250 [J].Neural Network Conf,1996,1(1):479-486.

[32]李于剑.Visual C+ + 实践与提高--图形图像编程篇[M].北京: 中国铁道出社，2001(1):24-26.

[33] 李鸿吉.Visual Basic 6.0 中文版编程方法详解[M].北京:科学出版社,2001:204-206.

[34] 陈涌.Visual Basic 第三方控件大全[M].北京:中国电力出版社，2002:405-406.

[35] 王兴晶,尹立.Visual Basic 6.0应用程序150例[M].北京：电子工业出版社，2004:146～149

[36] 臧玉琴,腾跃.Visual Basic 界面、多媒体与操作系统程序设计[M].北京:人民邮电出版社，2003:124-132.

[37] 李光明中文Visual Basic 6.0 程序设计教程[M].北京:冶金工业出版，2002:200-211.

[38] 刘新民.蔡琼.白康生Visual Basic 6.0程序设计[M].北京:清华大学出版,2004:334-350.

[39]朱长仁.王润生人脸特征自适应选取技术[J]. 计算机辅助设计与图形学学报，2002，1（1）：26～30.

[40]M Kirby. L Sirovi. Application of the Karhunen-Loeve procedure for the characterization of human face[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1990, 12（1）：103～108.

[41] Roberto Brunelli, Tomaso Poggio. Face recognition: Feature versus templates[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1993, 15（10）：1042～1052.

[42]李刚，高政. 人脸识别理论研究进展[J]. 计算机与现代化，2003，3(1)：1～6.