显著性检测总结(完整排列)
本文旨在全面回顾高亮目标检测的最新进展,并将其与其他密切相关的领域联系起来,如一般场景分割、目标暗示生成和固定预测的意义。主要内容包括:1)根本原因、关键概念和任务;2)核心技术和主要建模趋势;3)显著目标检测中的数据集和评估指标。讨论并提出了未来研究的逆向等开放性问题。
1.
1.1什么是显著物体?
其中提到,一般认为,一个好的显著性检测模型至少应该满足以下三个标准:1)好的检测:丢失实际显著区域和错误地将背景标记为显著区域的可能性应该较低;2)高分辨率:显著图应具有高分辨率或全分辨率,以准确定位显著物体并保留原始图像信息;3)计算效率:作为其他复杂过程的前端,这些模型应该能够快速检测出显著区域。
1.3重要物体的探测历史
(1)ITTI等人提出的最早也是最经典的显著性模型,比如预测显著图,G是显著对象的地面形式二值掩膜。
(1)精确召回(PR)。首先,显著图s被转换成二值掩模m,然后通过将m与基础真值g进行比较来计算精确度和召回率:
(2) F值:通常无论是精度还是召回率都不能完全评价显著图的质量。因此,提出F值作为集中式跳河平均的精度和召回率的非负权重:
(3) ROC(受试者工作特征)曲线:是以假阳性率(FP_rate)和假阴性率(TP_rate)为轴的曲线。
(4)ROC曲线下面积(AUC):AUC越大,表现越好。
(5)平均绝对误差(MAE):进行更全面的比较。
图12,流行显著物体检测数据集:
第二,?对传统显著性检验的补充(论文中的分类与我平时的习惯不太相符,所以再次收集了数据,进行了整理)
常见的显著性检测方法:
1.?认识模型
几乎所有的模型都直接或间接地受到认知模型的启发,其一大特点是心理学和神经学的结合。Itti模型(使用颜色、属性、方向三个特征通道)就是这类模型的代表,也是很多后续衍生模型的基础。
2.?信息论模型
本质是最大化视觉环境的信息,最有影响力的模型是AIM模型。
3.?图论模型
基于图轮的显著性模型将眼动数据视为时间序列,使用隐马尔可夫模型、动态贝叶斯网络和条件随机场。图模型可以对复杂的注意机制进行建模,因此可以达到更好的预测能力。缺点在于模型的高度复杂性,尤其是在训练和可读性方面。典型的有:GBVS等。
4.?频域模型
基于谱分析的显著性模型形式简单,易于解释和实现,在注意力焦点预测和显著区域检测方面取得了巨大成功,但其生物合理性并不十分明确。经典模型包括:谱残差的显著性检测模型(纯数学计算方法)。
资源链接:
/p-915060851.html
/p-4993561181219 . html
/u 012507022/article/details/52863461
第三,?基于深度学习的显著性检测的内容补充(论文写于2014,关于深度学习的部分不完善,此处补充)
基于深度学习的显著目标检测的研究在发展初期,从目标检测神经网络到过度训练,一直难以取得理想的效果。R-CNN在2065438+2004的诞生,成为第一个真正意义上的工业级应用方案,其在VOC2007测试集中的mAP提升至66%。但是R-CNN框架中仍然存在很多问题:
1)训练分几个阶段,步骤比较复杂:网络微调+训练SVM+训练边界回归。
2)训练耗时,占用大量磁盘空间:5000张图片产生数百个g特征文件。
3)速度慢:使用GPU和VGG-16模型处理一幅图像需要47s。
到目前为止,基于深度学习的显著对象检测的研究可以分为两类:基于区域暗示的深度学习对象检测和基于回归的深度学习对象检测。
基于区域建议的深度学习目标检测方法有:R-CNN、SPP-net、FastR-CNN、FAST R-CNN、R-FCN等。
1) R-CNN(具有CNN特征的区域)在时间和空间上的代价较高;
2)SPP-net(spatial pyramid pooling)加强了对CNN的使用,允许输入不同大小的图片,进一步强调了CNN特征计算前移、区域处理后移的思想,大大节省了计算量,但不是端到端的模型且CNN特征提取没有联动参数;
3)fastr-CNN的出现解决了前两者的重复计数问题,实现了区域建议和目标检测端的卷积。首次提出的RoI Pooling技术,充分发挥了区域后移的优势,加快了训练速度。CNN网络模型采用VGG-16,通过联动调用参数提高了实验效果,但仍然没有实现端到端模型,严重依赖SS区域建议。
4)更快的R-CNN放弃了选择性搜索,提出RPN网络计算候选帧。使用端到端的网络进行目标检测,无论是速度还是准确率都有了很大的提高,但是速度还不能满足实时需求,而且对于每个建议分类的计算量还是很大,功能还没有进入案例分割阶段。
基于回归的深度学习目标检测方法有YOLO、SSD、G-CNN、NMS等。
1) YOLO(你只看一次)将目标检测任务转化为一个回归问题,大大简化了检测过程,加快了检测速度。但是在预测目标窗口时,使用的是全局信息,冗余度高,没有区域暗示机制,检测精度不高。
2)SSD(Single Shot multi box Detector)在预测某个位置时利用了该位置周围的特征。结合了YOLO的回归思想和FasterR-CNN中的候选区域机制,既保持了YOLO的快速性,又保证了定位的准确性。
3) G-CNN侧重于减少初始化建议的数量,让几万个建议变成很少的初始网格,提高了检测速度;
4 4) NMS(非最大抑制)通过迭代去除重复的候选帧,并选择具有最高置信度的帧。
目前,基于区域建议的深度学习目标检测在实际应用中应用较为广泛。
基于深度学习的显著性检测方法研究现状:
R-CNN系列显著目标检测框架和YOLO显著目标检测框架为我们提供了基于深度学习的目标检测的两个基本框架。目前,研究者基于这些框架从其他方面提出了一系列提高目标检测性能的方法。如:困难样本挖掘、多层特征融合、利用上下文信息、更深层次网络学习的特征等。
原文链接:/QQ _ 32493539/文章/详情/79530118。