pca毕设论文

pca毕设论文内容摘要：

ixxAAxAAPYYYYPSb11                          cinlTiiliiliicinlTiiliiliixiixAAxAAnPYYYYnPSw1 11 111＝＝ 现在将类间散布矩阵 xSb 与类内散布矩阵 xSw 的迹分别定义为类间距离 dbx 与类内距离dwx ，则有                xDxxAAAAPxxAAxAAPSbtrdbbTciiTiiTciiTiixx 11 南京邮电大学 2020 届本科毕业论文 8                        xDxxAAAAnPxxAAxAAnPSwtrdwwTcinliilTiiliiTciiilTnliiliixxii     1 11 111 这里：       ciiTiib AAAAPD1             cinliilTiiliiwi AAAAnPD1 11 称 D Db w, 分别为训练图像样本的广义类间散布矩阵、广义类内散布矩阵。 定义广义 Fisher 准则函数如下  J x x D xx D xT bT w 其中 x 为任一 n 维列向量。 使函数 Jx 达到最大值的向量 1u 称为最佳鉴别投影方向，其物理意义是 m 维空间 Rm 中的训练图像样本投影特征在方向 1u 上具有最小的类内散布和最大的类间散布。 在求出第一个最佳鉴别投影方向 1u 后，在下述正交条件下： 012 uuT 可求出使函数 Jx 达到最大值的向量 2u ，称为第二个最佳鉴别投影方向。 以此类推，假设求出了 )( nrr  个最佳鉴别投影方向： ruuu , 21  ，则对任意一个图像 nmA  ，可定义 A 的 )( rm 维最佳鉴别投影特征如下： rrrmAuAuAuYYYY  2121 特征脸（ K－ L 变换特征） 设有 K 个训练图像 ),2,1( KkA nmk   ，将每幅 nm 图像矩阵 kA 写成一个 )(mn南京邮电大学 2020 届本科毕业论文 9 维图像矢量 ),2,1( Kkzk  ，所有训练图像的均值矢量记为 z ，则图像矢量总体的散布矩阵可表示为（忽略系数） mnmnTkKk kt zzzzS   ))((1 若取总体散布矩阵 tS 作为 KL变换的产生矩阵  ，则  可写成： mnmnTZZ  其中 KmnK zzzzzzZ  ],[ 21 一般，图像矢量的维数 )(mn 远远大于训练样本数 K ，直接计算  的本征值 与本征向量很困难，此时可利用奇异值分解定理。 为此，构造矩阵 R 如下： KKT ZZR  也称 R 为产生矩阵。 显然，产生矩阵 ZZR T 的秩 r 小于或等于训练样本数 1K。 容易计算出产生矩阵 R 的 r 个本征值 2i 及相应的正交归一本征向量 ),1( rivi 。 再由奇异值分解定理，可以得到 TZZ 的正交归一本征向量如下： ),1(1 riZvu iii   取产生矩阵 R 的前 j 个最大本征值对应的本征向量 juuu , 21  作为坐标轴，则任意一个 )(mn 图像 矢量 z 可通过下式的投影在均方误差最小意义下压缩为 j 维的 KL变换特征矢量： zUzuzuzuyyyY TTjTTj  2121 其中，  juuuU , 21  KL 变换是图像压缩的一种最优正交变换。 人们将其应用于特征提取中，形成了子空间法模式识别的基础。 在人脸自动识别领域， Turk 与 Pentland 将 KL 变换用于人脸图像的最优表示，提出了本征脸的方法，在近 3000 个人的 7562 幅图像的大数 据库上进行了广泛的测试，利用随机选取的 128 幅训练图像计算出 20 个 KL 变换特征，实验得到南京邮电大学 2020 届本科毕业论文 10 了 90%的识别正确率。 本章小结 本章介绍了三种图像代数特征，重点了解了基于人脸脸部校准图像矢量 、 利用 KL变换与具有统计不相关性的最佳鉴别变换抽取人脸图像的有效鉴别特征的方法，这些方法的了解可以帮助我们很好的理解下面几章所介绍的内容。 南京邮电大学 2020 届本科毕业论文 11 第三章 主成分分析法（ PCA） 引言 上一章我们介绍了人脸图像的有效鉴别特征抽取的相关知识，这对我们理解这一章和下一章的知识很有帮助。 在模式识别的特征提取中，经 常将生物的特征用数字向量来表示，比如在虹膜特征提取中， 在一张虹膜图像中，可以把瞳孔中心为圆心，则对于图像中虹膜范围内的所有像素坐标 ， 都可以对应到一个极坐标 ( cos ， sin )，其中 r 为到圆心的距离，  为 ),( yx 到圆心的连线与 x 轴的夹角。 这样由表示不同类间的不同值域就可以组成特征向量。 在特征提取中，主成分 分析法（ PCA）方法是使用比较早的一个方法，也是其他特征提取方法的基础。 有关 PCA 的理论与方法 [4]， 早在 1972 年出版的专著“ Introduction to Statistical Recognition” 中就作了系统的阐述。 Fukunaga 和 Young 等人都曾对该方法做过较深入的研究，并讨论了 PCA 作为线性特征抽取方法的稳定性问题，从而将人脸识别的研究热点从基于局部特征的几何特征方法引到基于全局统计特征的统计方法上来。 主元分析发展的相关介绍 近年来 ， 关于人脸图像线性 鉴别分析方法的研究激起了人们的广泛兴趣 ， 其焦点如何抽取有效的鉴别特征和降维 [3～ 7， 9]。 特征抽取研究肩负两方面的使命 ： 一是寻找针对模式的最具鉴别性的描述 ， 以使此类模式的特征能最大程度地区别于彼类 ； 二是在适当的情况下实现模式数据描述的维数压缩 ， 当描述模式的原始数据空间对应较大维数时 ， 这一点会非常有意义 ， 甚 至必不可缺 [2]。 在人脸图像识别中 [5]， 主成分分析 ( Principal Component Analysis， PCA) [14， 15]， 又称 K L 变换 ， 被认为是最成功的线性鉴别分析方法之一 ， 目前仍 然被广泛地应用在人脸等图像识别领域。 本质上 PCA 方法的目的是在最小均方意义下寻找最能代表原始数据的投影。 Sirovich and Kirby最初使用 PCA有效地表示人脸。 由于人脸结构的相似性 ， 他们认为可以收集一些人脸图像作为基图 (特征图 )， 任何人脸图像可以近似地表示为该人脸样本的均值与部分基图的加权和。 1991年 Turk and Pentland提出了著名的“ Eigenfaces”方法。 1997年 Peter NBelhumeur， Joao P Hespanha， David J Kriengman在主成分分 析的基础上又给出了“ Fisherfaces” 方法。 以上方法在处理人脸等图像识别问题时 ， 遵循一个共同的过程 ： 即首先将图像矩阵转化为图像向量 ， 然后以该图像向量作为原始特征进行线性鉴别分析。 由于图像矢量的维数一般较高 ， 比如 ， 分辨率为 112 92 的图像对应的图像向量的维数高达 10304， 在如此高维的图像向量上进行线性鉴别分析不仅会遇到小样本问题 ， 而且经常需要耗费大量的时间 ， 有时还受研究条件的限制 ( 比如机器内存小 )， 导致不可行。 针对这个问题 ， 人们相继提出不少解决问题的方法 [5～ 10， 14， 15]。 概括起来 ， 这些方法可分为以下两类 [18]： 一是从模式样本出发 ， 在模式识别之前 ，南京邮电大学 2020 届本科毕业论文 12 通过降低模式样本特征向量的维数达到消除奇异性的目的。 如金忠 [3]通过降低图像的分辨率实现降维。 二是从算法本身入手 ， 通过发展直接针对于小样本问题的算法来解决问题。 Hong， Liu， Chen， Yu， Yang等人分别在这方面进行深入的探索 ， 他们所建立的算法理论为这一问题的解决奠定了基础。 主元分析（ PCA）方法 PCA 思想与最优投影矩阵 主成分分析 ( Principal Component Analysis， PCA) ， 又 称 K L 变换 ， 是寻求有效的线性变换的经典方法之一 ， 其目的是在最小均方意义下寻找最能代表原始数据的投影方向 ， 从而达到对特征空间进行降维的目的 [11]。 K L 变换的产生矩阵可以是训练样本集的总体散布矩阵或类间散布矩阵 [3]。 本文选用后者为例，作 K L 变换的产生矩阵。 为说明方便 ， 我们首先介绍向量化矩阵概念。 定义：设 nmm RAAAA  ),.. .,( 21 ，定义1mn 的向量 mAAAAVec ...)( 21 这是把矩阵 A 按列向量依次排成的 向量 ， 往往称这个程序为矩阵 A的向量化。 设人脸灰度图像的分辨率为 nm ， 则该图像构成一个 nm 的图像矩阵 I ， 可以将图像矩阵 I 向量化为 mn 维的图像向量  ，即 )(IVec 设模式类别有 C个 ： C ,..., 21 第 i 类有训练样本图像向量 in 个 ： imii  ,..., 21 每个样本是mn 向量 ， Ci inN 1样本总数 ， 则模式的类间散布矩阵为 ： TiiCi iPS ))(()(11    (31) 其中 )( iP 为第 i 类训练样本的先验概率 inj ijin 11  为第 i 类训练样本的均值 ，  Ci nj ijiN 1 11  为全体训练样本的均值。 容易证明类间散布矩阵 S1 为非负定矩阵。 定义准则函数 ： XSXXJ T 1)(  (32) 最大化该准则函数 (32) 的单位向量 X称为最优投影向量 ， 其物理意义是 ： 图像向量在X 方向上投影后得到的特征向量的总体分散程度最大。 事实上 ， 该最优投影向量即为间散散布矩阵 1S 的最大特征值所对应的单位特征向量。 一般说来 ， 在样本类别数较多的情况下 ， 南京邮电大学 2020 届本科毕业论文 13 单一的最优投影方向是不够的 ， 需要寻找一组满足标准正交条件且极大化准则函数 (32) 的最优投影向量 dXXX ,..., 21。 定理 1 最优投影向量组 dXXX ,..., 21 可取为 1S 的 d 个最大 特征值所对应的标准正交的特征向量。 令 ],.. .,[ 21 dXXXP  ， nmRP  称为最优投影矩阵。 特征抽取 最优投影向量组 dXXX ,..., 21 可用于特征抽取。 对已知的样本图像向量  ， 令 Tkk XY  ， dk ,...,2,1 (33) 投影特征 dXXX ,..., 21 称为图像向量  的主成分（ principal ponents）。 利用获得的主成分可构成  的 d 维的特征向量 TdYYYB ],...,[ 21 ，即 TPB。 分类 通过 节的特征抽取过程，每个图像向量  对应一个特征向量 TPB ，对此特征向量，可以利用最近邻法和最小距离法来进行分类。 下面就介绍一下这两种分 类方法。 1） 最近邻法 第 i 类训练图像样本的均值向量 inj ijii n 11  的特征向量为 iTi PB  ， Ci ,...2,1。