最近，Meta公布了SAM（Segment Anything Model），这是史上第一个图像分割基础模型。SAM将NLP领域的prompt范式引入CV，用户可以通过prompt一键抠图。
SAM的发布引起了轰动。人们纷纷表示：CV已经被SAM取代了！
英伟达AI科学家Jim Fan感叹道：我们已经迎来了计算机视觉的「GPT-3时刻」！
Meta在博客中兴奋地表示：在需要在图像中查找和分割对象的应用领域，SAM将无处不在。
SAM之所以这么强大，是因为它在SA-1B数据集上进行训练，该数据集包含超过10亿个掩码，多样化、高质量。这使它能够泛化到新类型的对象和图像，超出了在训练期间观察到的内容。同时，SAM还引入了NLP领域的prompt范式，用户可以通过合理的prompt完成图像分割任务，无须进行额外训练，实现“开箱即用”。因此，Meta实现了一个完全不同的CV范式。用户可以在一个统一框架prompt encoder内，指定一个点、一个边界框、一句话，直接完成物体的分割。
不过，瑞莱智慧RealAI指出SAM存在安全隐患。RealAI算法团队在研究中发现，只要在图片上添加一些对抗样本，SAM就不能如前自动分割图像中的所有内容了。
原本SAM可以很好地自动分割图像中的所有内容：
但给图像添加微小的对抗噪声后，SAM就只会“瞎割一气”：
下图同理：
这说明了SAM模型的安全风险。SAM属于深度学习模型，而深度学习模型易受对抗样本攻击。攻击者可以向良性数据中添加特定扰动，制造对抗样本。轻微扰动的对抗样本不会影响人类的判断，却会导致深度学习模型产生错误结果。我们生成了对抗样本，并使用MI-FGSM【Dong et al., Boosting Adversarial Attacks with Momentum, CVPR 2018(Spotlight).】等攻击方法来针对SAM的模型输出，使SAM模型的分割能力瞬间失效。
RealAI团队对抗样本攻破了许多模型。在此之前，他们用对抗样本眼镜攻破了19款主流商用手机的人脸解锁系统；将对抗样本打印在衣服上，使人体在目标检测系统中“隐身”;通过修改锥桶形状让自动驾驶感知系统无法识别……
攻破手机人脸解锁系统的对抗样本眼镜
RealAI团队所做的一切，都是为了让人工智能更加安全，帮助它“系上安全带”。上述AI视觉模型的安全问题都具有普遍性，这是深度学习方法的一个先天缺陷，语音识别、文本处理等技术也面临着同样的问题。
近几个月来，众多大模型也存在幻想、生产歧视、排斥和有害内容、数据泄露等安全问题，这些问题威胁着大模型的应用生态和国家安全。监管机构、学者、产业界早已意识到了这些风险。例如，国家互联网信息办公室在4月11日发布《关于<生成式人工智能服务管理办法（征求意见稿）>公开征求意见的通知》明确规定，提供者应当在生命周期内，提供安全、稳健、持续的服务，保障用户正常使用。
未来，大模型自身的安全和可靠性问题将成为其应用发展的瓶颈性问题。如何更好地实现通用目的技术的发展和安全动态平衡，是人工智能企业需要解决的重要课题，也将激发新的产业机遇。
A:本文网址：
