共计 2683 个字符,预计需要花费 7 分钟才能阅读完成。
1、Segment Anything Model (SAM) Enhanced Pseudo Labels for Weakly Supervised Semantic Segmentation
Tianle Chen, Zheda Mai, Ruiwen Li, Wei-lun Chao
https://arxiv.org/abs/2305.05803
图像级监督的弱监督语义宰割 (WSSS) 因为其标注老本较像素级标注低而受到越来越多的关注。大多数现有办法依赖于类激活图 (Class Activation Maps, CAM) 来生成像素级的伪标签进行监督训练。然而 CAM 常常会遇到局部激活——激活最具分别性的局部而不是整个对象区域,以及谬误激活——不必要地激活对象四周的背景。这篇论文引入了一种简略而无效的办法来解决这些限度,利用最近公布的 SAM 来生成更高质量的伪标签。SAM 是一种宰割根底模型,它在将图像宰割成片段方面体现出较强的零样本能力,但不足对这些区域的语义标记。所以论文应用特定类的伪标签作为抉择最相干掩码的信号,并标记它们以生成该类的精密伪标签。SAM 生成的片段十分准确,从而大大改善了局部激活和谬误激活。
2、Personalize Segment Anything Model with One Shot
Renrui Zhang, Zhengkai Jiang, Ziyu Guo, Shilin Yan, Junting Pan, Hao Dong, Peng Gao, Hongsheng Li
https://arxiv.org/pdf/2305.03048.pdf
SAM 曾经被证实是一个弱小而疾速的框架,彻底改变了宰割模型。尽管 SAM 具备普遍性,但在没有人工提醒的状况下为特定的视觉概念定制 SAM 依然有待钻研中。这篇论文提出了一种无需训练的 SAM 微调办法,称为 PerSAM。只有给定一张带有参考掩码的图像,PerSAM 首先通过地位先验定位指标概念,并通过三种技术将其宰割到其余图像或视频中: 指标疏导注意力,指标语义提醒和级联后细化。这样就能够在没有任何训练的状况下无效地将 SAM 进行定制化。
代码和演示公布在 https://github.com/ZrrSkywalker/Personalize-SAM
3、Zero-shot performance of the Segment Anything Model (SAM) in 2D medical imaging: A comprehensive evaluation and practical guidelines
Christian Mattjie, Luis Vinicius de Moura, Rafaela Cappelari Ravazio, Lucas Silveira Kupssinskü, Otávio Parraga, Marcelo Mussi Delucis, Rodrigo Coelho Barros
https://arxiv.org/abs/2305.00109
医学成像中的宰割是诊断、监测和医治各种疾病和医疗条件的要害组成部分。医学宰割畛域由许多专门的深度学习模型主导,每个模型都针对特定的宰割工作和图像模式进行了微调。SAM 采纳了 ViT 神经架构,并利用大量的训练数据集来宰割简直任何对象; 然而其在医学畛域的适用性尚未失去钻研。这篇论文通过在四种成像形式 (包含 x 射线、超声、皮肤镜和结肠镜) 的六个数据集上施行八种不同的提醒策略,摸索了 SAM 在医学成像中的零样本性能
源代码以及演示:https://github.com/Malta-Lab/SAM-zero-shot-in-Medical-Imaging
4、Customized Segment Anything Model for Medical Image Segmentation
Author : Kaidong Zhang, Dong Liu
https://arxiv.org/abs/2304.13785
论文提出了医学图像宰割的通用解决方案 SAMed。SAMed 以大规模图像宰割模型 segmentation Anything model (SAM)为根底,摸索针对医学图像宰割的定制化大规模模型的钻研新范式。SAMed 将低秩调优策略利用于 SAM 图像编码器,并在标记医学图像宰割数据集上与提醒编码器和掩码解码器一起进行调优。因为 SAMed 只更新 SAM 参数的一小部分,因而在理论应用中,它的部署老本和存储老本十分小。
SAMed 的代码 https://github.com/hitachinsk/SAMed
5、An Empirical Study on the Robustness of the Segment Anything Model (SAM)
Yuqing Wang, Yun Zhao, Linda Petzold
https://arxiv.org/abs/2305.06422
SAM)是个别图像宰割的根底模型,它次要在天然图像上体现出令人印象粗浅的性能,但理解其对各种图像扰动和域的稳健性对于经常出现此类挑战的理论利用至关重要。这篇论文在不同的事实世界条件下对 SAM 进行了全面的稳健性考察。试验蕴含了大范畴的图像扰动。并且试验结果表明,在扰动图像下,SAM 的性能广泛降落,并且在不同的扰动下具备不同水平的脆弱性。然而通过定制提醒技术和利用基于每个数据集独特特色的畛域常识,能够加强模型对这些扰动的弹性,解决数据集特定的挑战。
6、A Comprehensive Survey on Segment Anything Model for Vision and Beyond
Chunhui Zhang, Li Liu, Yawen Cui, Guanjie Huang, Weilin Lin, Yiqian Yang, Yuehong Hu
https://arxiv.org/abs/2305.08196
SAM 在突破宰割边界方面获得了重大进展,极大地促成了计算机视觉根底模型的倒退。为了充沛了解 SAM,论文进行了一项考察钻研。作为第一个全面回顾基于 SAM 根底模型的任何视觉及其他工作宰割停顿的工作,通过探讨其历史倒退,最新进展以及对广泛应用的深刻影响,重点关注其在各种工作和数据类型中的利用。首先介绍了包含 SAM 在内的根底模型的背景和术语,以及与 SAM 同时代的最先进的办法,这些办法对于宰割任何工作都很重要。而后,剖析和总结了 SAM 在各种图像处理利用中的劣势和局限性,包含软件场景、事实场景和简单场景。
https://avoid.overfit.cn/post/92f50aa2951d4dd89cfc4fe71e0531ef
作者:Monodeep Mukherjee