著性模型的检测结果是一个显著性灰度图，其每个像素点的灰度值表示了该像素的显著性，灰度值越大，表明该像素越显著。从信息处理的方式看，显著性模型大致可以分为两类：自顶向下（任务驱动）和自底向上（数据驱动）的方法。
自顶向下的显著性检测方法之所以是任务驱动，这是因为该类模型通常是和某一特定的任务相关。在同样的场景或模式下，检测到的结果因任务的不同而不同是自顶向下模型最突出的特点。例如在目标检测中，检测者需要首先告诉需要检测的目标是什么，检测到的显著性图则表示目标可能出现的位置。自顶向下的显著性检测方法的依据是：如果研究者事先知道需要检测目标的颜色、形状或者方向等特征，那么该检测算法自然会高效的检测到需要检测的目标。因此，自顶向下的算法通常需要人工标记，或是从大量的包含某种特定目标的图像中学习该类目标的特征信息，这些学习方法一般是监督的；然后求测试图像对于训练学习得到的信息的响应，从而得到测试图像的显著性图。现存的一些自顶向下的算法在某些特定的目标上取得了一定的效果，不过这些算法往往只对某些特定的目标有效，对于复杂多变的自然图像，该类算法存在很大的缺陷。自顶向下的模型是慢速的、任务驱动的，有意识的，以及封闭回路的。由于自顶向下模型的特点，其应用受到了很大的限制。
f相对于自顶向下的显著性模型，自底向上的模型检测到的显著性图是依据当前的图像和图像的低级特征得到的，和特定的任务没有任何的相关性，因此更具一般性，目前也是研究者们研究的重点。由于是由低级视觉信号驱动的，自底向上模型被认为是一种无意识的视觉处理过程，它和记忆没有任何的关系，信号显著性仅仅由当前的视觉信号本身所决定。在自底向上模型中，吸引我们注意的感兴趣区域一定和周围的环境有着极大的差别。因此，自底向上模型通常采用中央周围对比算法来模拟图像显著性，该方法通过计算某一像素或区域相对于周围领域的对比度来模拟其相应的显著性。此外，一些研究者通过采用活动窗口的领域方法来提高定位目标的准确性。另一种常用的自底向上的显著性方法是信息最大化法，该方法通过心理学的研究，认为人类往往将注意力放在图像中信息量最大的位置例如图像中央区域，从而进行有效的分析。自底向上注意模型是快速的、无意识的，以及大多数是前向反馈的。自底向上的图像显著性估计算法适用于对图像目标的模式或位置没有任何信息的情况。
经过多年的研究，显著性检测已经应r