机器学习及其应用2017 - (EPUB全文下载)

文件大小：0.49 mb。
文件格式：epub 格式。
书籍内容：

机器学习及其应用2017
1　稳健的矩阵回归模型与方法
2　若干低秩子空间恢复模型的闭解及其应用
3　面向大规模机器学习的随机优化
4　非参贝叶斯张量分解研究
5　基于递归神经网络的图像描述算法
6　标记分布学习及其应用
7　软件缺陷挖掘
1稳健的矩阵回归模型与方法(1)
杨　健　罗　雷
南京理工大学模式计算与应用实验室，南京210094
1　引言
随着网络和信息技术的不断发展，全球数据量呈现爆炸式增长。特别地，人类在最近两年产生的数据量相当于之前产生的全部数据量。这些海量、复杂的数据已经对社会经济、政治、文化以及生活等方面产生了深远的影响。如何有效地分析它们使其更好地为人类服务是一个亟待解决的问题。
近年来，机器学习方法已经渗透到了数据分析的各个方面，成为了其中的重要组成部分。它利用已知数据来学习和推理其中未知的、潜在的概率分布等重要信息，解释数据样本中变量（或特征）之间的关系。也就是说，它能从庞大的数据中揭示出数据的内在规律或本质结构。这种本质结构可方便人类对数据的理解，提高人类对数据的驾驭能力。为实现这一任务，我们首先要熟知数据分析中可能面临的问题。一方面，在实际的信号和图像采集与处理中，数据的维数越高，给数据的采集和处理带来越多的限制。大规模的数据不仅存在着较多的冗余、无关的属性，还会带来维数的灾难。另一方面，实际中数据往往结构复杂，例如采集的数据本身不完整或者存在大量的噪声，这导致了一些传统的数据处理技巧也许失效。
基于线性回归（linear regression, LR）分析的方法一直是机器学习领域的研究热点。它的目的是估计测试数据与训练数据之间的关系。值得注意的是，这种关系可理解成数据的一种内在结构。为避免过拟合，一个正则项需要强加到LR模型中。基于L1范数的正则项和基于L2范数的正则项是目前使用最广泛的两种正则项。L2范数正则化的线性回归一般称为脊回归（ridge regression）。该方法使用L2范数的平方来约束表示系数，并使用同样的方式来刻画表示残差。最近，I. Naseem等人[1]将此方法应用于人脸识别并由此提出了线性回归分类器（LRC）。在这个方法中，他们先通过脊回归模型获得测试样本在每类训练样本中的表示系数，然后将测试样本分在离其最近的那一类。事实上，一些以往的工作，诸如最近邻特征线[2]、最近邻特征面以及最近邻特征空间[3]都可看作LRC的不同变体。
L1范数正则化的线性回归称为Lasso，它已被广泛地应用于稀疏表示中。例如，J. Wright等人[4]引入了稀疏表示分类器（SRC）。SRC使用所有训练样本作为一个字典来表示一个测试样本，并且假设表示系数是稀疏的，即这些稀疏的非零表示系数应该集中在与测试样本具有相同类型标签的训练样本上。为了得到一个稳健的模型，他们进一步假设噪声也是稀疏的，由此建立了推广的SRC模型。这个模型对随机像素损坏与块状遮挡的噪声具有一定的稳健性。A. Wagner等人[5]进一步推广了SRC模型，并将人脸对齐和识别统一到一个框架中。另一方面，一些近期的工作主要集中在探究稀疏在图像分类中的角色[6][7][8][9]上。J. Yang等人[8]对SRC的合理性提供了一些理论性的解释并得出一个结论：SRC的有效性是由L1约束带来的，而不是L0约束（原本的稀疏限制）的作用。L. Zhang等人[9]分析了SRC的运行原理且发现：合作表示策略比基于L1范数的系数约束扮演了更为重要的角色。于是，基于脊回归的思想，他们提出了合作表示分类器（collaborative representation classifier, CRC）。可是，CRC虽然具有速度上的优势，但并不能提供一种噪声移除的机制，所以它不是图像分类的一种稳健的回归方法。
在LRC、CRC以及SRC模型中，表示余差使用误差向量的L2范数或者L1范数来约束。从统计学来讲，L2范数为服从高斯分布的数据提供了一种最优的刻画。但是，在现实的人脸识别中，表示误差的分布是很复杂的，高斯分布无法完美地拟合它们[10][11]。所以，以上方法对现实中的噪声并不稳健。为解决这类问题，稳健回归分析[12]应运而生。该方法是对传统的最小均方法在异常点存在情况下的一种改进，它提供给我们这样一个信息：什么是一个有效的观测，并且哪一种观测应被剔除。稳健回归的最初目的是用来拟合一个能够表示出大多数数据的模型。
M-估计是稳健回归中一种常用的技巧，在19世纪60年代由P. J. Huber等人[13]提出。选择权重函数对稳健回归的性能具有重要影响，由此衍生了许多稳健回归模型，例如，推广的稀疏表示模型[4]、稳健稀疏编码模型（RSC）[10]、基于相关熵的稀疏表示模型（CESR）[14]以及稳健的线性回归分类器（RLRC）[15]。特别地，RLRC本质上是一种Huber估计方法。此外，R. He等人[16]统一了两种稀疏稳健回归模型，即在误差纠正中以SRC为代表的相加模型和在误差探测中以CESR为代表的相乘模型。R. He等人[16]还通过定义不同的半平方函数建立了一种半平方的人脸识别框架。该框架可同时执行误差纠正与探测任务。M-估计的稳健性体现在：异常像素值会被赋予一个小的权值来减小它们在编码过程中的影响，而对其他元素则赋予较大的权值。所以，与传统的最小均方法相比，稳健回归更适合处理实际中的噪声。但是，以上所提到的稳健回归方法都使用了一维的基于像素误差模型，即误差图像的每个像素都被独立地刻画。它们并没有考虑图像的二维结构信息。
不同于以上方法，本文将介绍几种全新的稳健回归模型。它们将图像的结构信息融入到建模中。这些方法包括：基于核范数的稳健矩阵回归，基于推广幂指数分布的稳健矩阵回归，基于核-L1范数的联合矩阵回归，以及基于树结构核范数的稳健矩阵回归。
2　基于核范数的稳健矩阵回归
基于像素的一维模型（例如，SRC，RSC和CESR）存在两个问题：首先，这类模型假设误差图像的每一个像素是独立同分布的。对于随机的像素损坏，由于噪声被 ............

以上为书籍内容预览，如需阅读全文内容请下载EPUB源文件，祝您阅读愉快。