看到这里是不是已经觉得很厉害了？别着急，Meta这次还有大招。

除了能把物品从图像中精准地分离出来，SAM还能支持对这个物品的编辑。也就是说，你可以把这个衣服从这个模特身上换下来，或许再换个颜色改个大小，放在另一模特身上。

你也可以把你从静态图片中“抠”出来的椅子，进行3D渲染和编辑，让它从一个图片立刻动起来，接着你还可以改变形状或者进行更多的创意操作。

Meta发布了SAM之后，立刻吸引了大量关注，甚至在很多人工智能业内人士的眼中，SAM的出现可以说是计算机视觉领域的GPT-3时刻。

英伟达人工智能科学家 Jim Fan 表示此次SAM最大的一点突破是它‍已经基本能够理解‍“物品”的一般概念，即使对于未知对象、不熟悉的场景（例如水下和显微镜里的细胞）它都能比较准确的理解。因此他表‍示相信SAM的出现会是在计算机视觉领域里的GPT-3时刻。

不仅是Jim有这样的观点，一些AI研究专家甚至也表示，SAM之于计算机视觉，就像是GPT之于大语言模型。

有自然科学研究者将SAM和卫星图像结合在了一起，表示SAM能够很好的识别和找到他标记的风貌类型。

有神经外科影像学的专家将SAM用到了一个脊髓血管病的病例文件之中，认为SAM在帮助判断和分析病情上有很大帮助。

有生物学家输入了一张显微镜下的组织图片，即使图中形状特征毫无规律，但凭借着Zero-shot技术，SAM也能够自动识别多细胞结构中的腺体、导管、动脉等。该生物学家认为SAM的产出结果已经非常接近完美，未来能够节省大量手动注释的时间。

还有有骑行爱好者将地图和SAM结合起来，认为能够帮助自己未来更快更高效地给地图做标记。

总体来看，跟过去的一些计算机视觉模型相比，SAM 在几个方面有着显著的提升和不同。

首先，SAM 开创性地跟Prompt结合了起来。它可以接受各种输入提示，例如点击、框选或指定想要分割的对象，这种输入并不是一次性指令，你可以不停地对图像下达不同的指令达到最终的编辑效果，这也意味着此前在自然语言处理的Prompt模式也开始被应用在了计算机视觉领域。

此外，SAM基于1100 万张图像和 11 亿个掩码的海量数据集上进行训练，这是迄今为止最大的分割数据集。该数据集涵盖了广泛的对象和类别，例如动物、植物、车辆、家具、食物等，这些图像的分辨率达到了1500×2250 pixels，平均每张图像约有100个掩码。此次SAM采用了轻量级掩码解码器，可以在每次提示仅几毫秒内在网络浏览器中运行。

SAM 在各种分割任务上具有很强的零样本性能。零样本意味着 SAM 可以在不对特定任务或领域进行任何额外训练或微调的情况下分割对象。例如，SAM 可以在没有任何先验知识或监督的情况下分割人脸、手、头发、衣服和配饰。SAM 还可以以不同的方式分割对象，例如红外图像或深度图等。

Meta表示，目前公司内部已经开始使用SAM相关技术，用于在Facbook、Instagram等社交平台上照片的标记、内容审核和内容推荐等。而之后，生成人工智能作为 "创意辅助工具 "也将被作为今年的重点优先事项被纳入到Meta更多的应用程序中。

此次，可能最让很多业内人士惊喜的地方在于，无论是SAM模型还是巨大的训练数据集都是开源的！也就是说，目前任何人都可以在非商用许可下载和使用SAM及数据。

Meta表示，此举是希望进一步加速整个行业对图像分割以及更通用图像与视频理解的研究。‘Meta也预计，随着SAM的演进和发展，该技术可能会成为未来AR/VR、内容创作、设计更多领域的强大的辅助工具。

作为一个新兴的研究模型，SAM现在的使用门槛其实并不高，即使你是一个完全不懂AI的普通用户，在segment-anything平台上也可以去亲身体验一下它神奇的抠图功能。感兴趣的小伙伴快去试试吧！

*参考资料：

https://research.facebook.com/publications/segment-anything/

注：封面图和文中插图均来自于Meta官方网站或截自推特，版权属于原作者。如果不同意使用，请尽快联系我们，我们会立即删除。

花粉社群VIP加油站