摘 要： 图像显著性检测是一种通过对图像颜色、强度、方向等特征进行分析生成图像显著性图的技术。其生成的显著性图可以用于图像分割、图像压缩以及图像识别等图像处理领域，从而改善图像处理的性能。为了对图像显著性检测技术及其发展有一个全面深入的了解，使用文献研究法和比较研究法对其概念及方法进行了探究。针对几种具有代表性的图像显著性检测算法进行了简要的概述和分析，用流程图简明扼要地表示显著性检测算法的基本框架。研究结果显示，图像显著性检测技术的效率在不断提升，算法越来越多样化，在图像处理领域的应用越来越广泛，这些对于图像处理自动化具有重要意义。
关键词：电子工程毕业论文标准范文, 图像显著性,显著性检测,检测方法,图像处理
Analysis for method of image saliency detection
SUN Na?na， LIU Xin
(School of Physical and Electronic Science， Shandong Normal University， Jinan 250014， China)
Abstract： Image saliency detection is the technology that generates image saliency diagram by means of analyzing the image features such as color， intensity and direction. The generated saliency diagram can be used in the image processing fields such as image segmentation， image compression and image recognition， so as to improve the performance of the image processing. In order to comprehend the image saliency detection technology and its development completely， its concept and methods were explored with the literature research method and comparative study method. Several image saliency detection methods with representativeness are summarized and analyzed briefly. The basic framework of saliency detection algorithm is shown in the flow chart concisely. The research results show that the efficiency of image saliency detection technology is improved constantly， its algorithm is more and more diversified， and more widely applied in the field of image processing. These have important significance for automated image processing.
Keywords： image saliency; saliency detection; detection method; image processing
0 引 言
人类所获得的外界信息80%以上都是通过视觉完成的，然而对于大量的信息，视觉系统并不是完全地进行捕获和处理，它会根据特有的机制进行选择性的处理和忽略，这就是视觉的选择注意机制。这种信息处理机制被应用于图像和视频的处理，发展出一个新的科研方向，即显著性检测研究。
随着图像处理技术和计算机技术的发展，人们越来越希望计算机能够自主地进行图像的处理，而图像显著性信息对于图像自动化处理来说异常重要。因此，图像显著性检测技术受到了广泛的关注，并产生了许多检测方法与技术。基于此，对其中代表性的检测方法进行解析，对于显著性检测研究具有一定的意义。
1 图像显著性检测方法分类
图像显著性是指，图像中的像素点(或者区域)能够区别于其他点(或者区域)吸引视觉注意的能力。图像显著性检测是通过对图像颜色、强度、对比度等特征的分析，计算图像显著性，生成图像显著性图的一种技术。而图像显著性图是一幅和原始图像大小相同的二维图像，其中每个像素值表示原图像对应点的显著性大小。显著性图不仅表示每个位置的显著性，还可以用于引导注意区域的选择，快速定位和处理图像的显著性区域。
视觉显著性研究最先开始于生物学方面，直到20世纪90年代才被引入到计算机领域，用于图像和视频的处理。最开始，显著性研究集中在利用生物学上已有的显著性研究成果来创建相似的显著性模型，但是这种方法算法比较复杂，效率不高，而且效果也不是很理想。随后，研究人员不断简化模型，突破了严格的生物模型形式，开始使用各种图像处理的方法，来实现更为简单便捷的显著性计算。如上所述，可以将图像显著性检测方法分为两类：基于生物模型的和基于图像的。
还有一种更为常用的分类方法，即根据人类视觉选择注意方式分为两类：一类是纯数据驱动独立于任务的自底而上的显著性检测方法，另一类是受意识支配依赖于任务的自顶而下的显著性检测方法。由于人类自顶而下的选择注意由高层的脑部信息所控制，对于同一场景不同的人注意的结果不同，其动机、情感等因素比较难以控制和分析，因此构建自顶而下的显著性模型比较复杂，所以对于这类显著性模型的研究不是很多。 2 自底而上的图像显著性检测方法
早期研究中最为经典的显著性模型是Itti等人根据Koch和Ullman提出的生物框架创建的显著性模型，它模拟灵长类动物的早期视觉特征，结合图像颜色、亮度和方向三个方面的特征，利用多尺度分析计算图像显著性图，其算法框架如图1所示。
图1 Itti显著性图算法流程图
Itti显著性模型定义强度表示为[I=(r+g+b)3];将颜色由三个通道转换为四个通道：红色[R=r-(g+b)2]，绿色[G= (r+b)2，]蓝色[B=b-(r+g)2，]黄色[Y=(r+g)2-r-g2-b](负值置为零);通过高斯滤波选取4个方向 [θ∈{0°，45°，90°，135°}]。对于上述图像特征量建立9个尺度的高斯金字塔，然后根据一些生物视觉特征建立图像特征图，强度上： [I(c，s)=I(c)ΘI(s)]，颜色上：[Rg(c，s)=(R(c)-G(c))Θ(G(s)-R(s))]，[By(c，s)=(B(c)- Y(c))Θ(Y(s)-B(s))]，方向上：[O(c，s，θ)=O(c，θ)ΘO(s，θ)]。其中[Θ]为不同尺度空间的特征图相应点的差值， [c]表示图像像素的中心尺度，取值为[c∈{2，3，4}];[s=c+δ]表示该像素周围的相应尺度，而[δ∈{3，4}]。然后将标准化之后的特征图通过线性插值调整到同一大小后，相加计算强度、颜色和方向上的显著性图。最后将各显著性图标准化之后，线性相加得到图像的显著性图。该模型比较适合处理自然图像，能够有效地计算复杂自然场景的显著性图。对比是图像显著性研究中常会用到的一种方法。Ma和Zhang提出了一种使用对比来进行显著性检测的方法，如图2(a)所示。首先在图像的LUV颜色空间通过计算像素与周围像素的色彩差异和来计算对比度，即[Ci，j=q∈Θd(pi，j，q)]，其中像素[(i，j)]邻域[Θ]的大小控制着感知区域的敏感度，[pi，j]和[q]表示感知因素色彩，这里对比差异[d]通过高斯距离来计算。然后将对比度的值标准化到[[0，255]]区间作为该像素点的显著性值。这种显著性图不仅可以反映颜色的对比，而且可以反映图像纹理强度信息。Achanta等人提出通过在不同尺度上利用新的对比方法来计算显著性的方法，他们引入区域平均特征元素向量的概念来计算像素点的显著性值，如图2(b)所示。
图2 三种采用对比方法的显著性检测算法流程图
在这种方法中给定一个图像尺度，位于[(i，j)]位置的像素点基于对比的显著性值为内部区域[R1]的像素特征平均向量和外部区域[R2]的像素特征平均向量的距离，数学公式表示如下：[ci，j=D[(1N1p=1N1vp)，(1N2q=1N2vq)]]。其中[N1]和[N2]分别为区域 [R1]和区域[R2]中像素的个数，[v]是对应像素的特征元素向量，定义为[[L，a，b]T]，距离[D]采用欧氏距离。这里内部区域[R1]一般选择所需计算显著性值的像素本身，外部区域[R2]选择宽度范围为[[ω2，ω8]]的像素方形邻域，其中[ω]为图像的像素宽度。使用上述方法计算出不同尺度的对比显著性值后，再将各个尺度的显著性值相加，计算出每个像素最后的显著性值，从而构建出图像显著性图。该方法可以获得与原始图像相同分辨率的显著性图。
Cheng等人提出了两种利用图像直方图对比的方法来计算图像显著性。第一种方法，通过直方图对比的方法建立显著性图，如图 2(c)所示。这里使用颜色统计和对比，计算每种颜色的显著性值，其像素[Ik]的显著性值定义为： [S(Ik)=S(cl)=j=1nfjD(cl，cj)]，这里[cl]为像素[Ik]对应的颜色值，[n]为图像中不同像素颜色的数量，[fj]是图像中颜色为[cj]的像素的概率，这里[D(cl，cj)=cl-cj]是一种颜色距离，表示颜色间的差异。最后再利用平滑程序进行去噪处理，形成最终的显著性图。第二种方法，利用系数直方图比较来进行区域对比，获得区域显著值。这种方法先将图像分割为不同区域，然后通过区域间颜色对比计算区域显著性值。 Sha等人将图像划分为前景区域和背景区域，对两个不同区域计算前景显著性图和背景显著性图，最后通过计算和融合生成最终的显著性图，算法流程如图3所示。
计算背景显著性时，将图像背景区域划分为上下左右四个子区域，经过对图像的分析选取上下两个背景区域和像素进行对比计算像素显著性值。计算前景图像显著性时，将图像划分为一个个大小相同的方形参考中心区域，通过和上下两个背景区域的对比，选取出最具显著性的区域作为中心区域，并通过像素和这个中心区域的对比来计算像素的显著性值。
随着研究的不断深入，图像显著性的研究不可能仅仅局限在空间域进行分析。Achanta等人提出了一种频域方法来计算显著性图，如图4(a)所示。首先利用高斯差分滤波器来进行图像预处理，通过调整高斯差分滤波器参数，在去除高频噪声(和纹理)的同时能够保留更多关于显著性边缘的高频信息。然后通过包含颜色和亮度的特征向量计算显著性，公式表示如下：[S(x，y)=Iμ-Iωhc(x，y)]，这里[Iμ]是图像平均特征向量，[Iωhc(x，y)]是图像经过高斯滤波处理后对应像素点的特征向量。利用这种方法可以获得带有清晰的显著性对象边界的全分辨率显著性图。随后，他们又对这个方法进行了改进，将[Iμ]定义为像素点的邻域平均向量，而不是整幅图像的平均特征向量，使其能够更适用于计算复杂背景或者显著性区域非常大的图像的显著性图。
图3 Sha的显著性算法流程图
图4 两种频域显著性检测算法流程图
Ngau等人提出了一种在小波变换域计算显著性图的方法，如图4(b)所示。该方法先将图像由RGB颜色空间转换到YCbCr颜色空间，然后分别对 Y，Cb，Cr分量图像进行小波变换分解到LL，LH，HL和HH四个波段，该方法中只选用了LL波段来进行分析(包括图像水平和垂直方向的低频成分)，分别计算各分量在LL波段的对比图。以Y分量为例，其像素点[(x，y)]的对比值[C(x，y)=(ILL(x，y)-Iμ)2]。其中 [ILL(x，y)]表示像素点[(x，y)]在LL波段的强度值;[Iμ]表示图像在LL波段的强度均值。接着通过逆小波变换将各分量对比图转换回空间域，最后将各分量对比图标准化之后相加计算出最后的显著性图。
3 自顶而下的图像显著性检测方法
自顶而下的显著性模型一般包括特征学习和显著性计算两个部分。Judd等人提出一种通过机器学习来建立自顶而下显著性模型的方法，如图5(a)所示。首先通过实验收集15位观察者自由观看1 003张随机图像的视线跟踪数据，随后对这些数据进行人类视觉关注点分析获得显著性图，并选择一些用于训练模型的不同级别的特征;然后通过现有显著性模型来计算这些不同级别的特征;最后使用1 003张图像通过机器学习来进行训练和测试显著性模型。
图5 两种自顶而下的显著性模型构建流程图
这里对于每幅图像从显著性前20%中随机选取10个积极标签像素，显著性后70%中随机选取10个消极标签像素，建立一个18 060个样本的训练集和一个2 000个样本的测试集。Yang等人提出了一种利用判别字典和条件随机场来建立显著性模型的方法，如图5(b)所示。首先将图像分为图像块，对于每个图像块做出目标是否存在标记，利用学习的方法获得条件随机场(CRF)权重和判别字典，使用图像块标记、条件随机场权重和判别字典对图像块计算显著性。搜集图像建立图像训练集，通过学习的方法构建条件随机场和判别字典，其算法为：对于给定图像根据训练数据所得的字典估算其稀疏潜在变量，然后结合稀疏潜在变量、 CRF权重以及图像目标标记来获得违反标记，最后通过损失函数的梯度算法来更新字典和随机场权重。
4 结 语
图像显著性检测对于图像的自动化处理非常重要，它现在已经应用到了图像分割、图像自适应压缩、图像识别、图像非真实感绘制等众多图像处理研究领域，通过图像显著性信息的引导可以更加精准高效地进行图像处理工作。虽然图像显著性检测技术研究已经有了相当不错的成果，但是随着图像处理智能化发展趋势的要求，以及更多领域的使用和普及，图像显著性检测技术还有着很大的发展前景。
参考文献
[1] KOCH C， ULLMAN S. Shift in selective visual attention： Towards the underlying neural circuitry [J]. Human Neurobiology， 1985， 4(4)： 219?227.
[2] ITTI L， KOCH C， NIEBUR E. A model of saliency?based visual attention for rapid scene analysis [J]. IEEE Transaction on Pattern Analysis and Machine Intelligence， 1998， 20(11)： 1254?1259.
[3] MA Yu?fei， ZHANG Hong?jiang. Contrast?based image attention analysis by using fuzzy growing [C]// Proceedings of the 11th ACM International Conference on Multimedia. Berkeley， CA， USA，： ACM， 2003： 374?381.
