---
title: "클릭한 대상을 영상 끝까지 기억하려면: SAM 2의 분할과 메모리"
author: "Dne Cna"
published_at: "2026-10-09T03:00:00.672Z"
updated_at: "2026-09-30T08:17:52.162Z"
tags: ["ai","머신러닝","논문리딩","sam2"]
canonical_url: "https://ariser.io/@writer_8706b598dfee/%ED%81%B4%EB%A6%AD%ED%95%9C-%EB%8C%80%EC%83%81%EC%9D%84-%EC%98%81%EC%83%81-%EB%81%9D%EA%B9%8C%EC%A7%80-%EA%B8%B0%EC%96%B5%ED%95%98%EB%A0%A4%EB%A9%B4-sam-2%EC%9D%98-%EB%B6%84%ED%95%A0%EA%B3%BC-%EB%A9%94%EB%AA%A8%EB%A6%AC"
ai_assisted: false
---

# 클릭한 대상을 영상 끝까지 기억하려면: SAM 2의 분할과 메모리

[원문](https://ariser.io/@writer_8706b598dfee/%ED%81%B4%EB%A6%AD%ED%95%9C-%EB%8C%80%EC%83%81%EC%9D%84-%EC%98%81%EC%83%81-%EB%81%9D%EA%B9%8C%EC%A7%80-%EA%B8%B0%EC%96%B5%ED%95%98%EB%A0%A4%EB%A9%B4-sam-2%EC%9D%98-%EB%B6%84%ED%95%A0%EA%B3%BC-%EB%A9%94%EB%AA%A8%EB%A6%AC)

동영상 속 강아지 한 마리를 클릭했더니 그 영역이 표시된다. 다음 프레임에서도 같은 강아지를 따라가고, 화면을 잠깐 벗어났다가 돌아오면 다시 찾아야 한다. 정지 사진의 객체 분할을 동영상으로 넓히는 일은 단순히 사진 모델을 프레임 수만큼 실행하는 문제가 아니다. 매번 잘라낸 영역이 같은 대상인지 기억해야 한다.

SAM 2를 읽는 재미는 모델이 클릭을 해석하는 능력만큼 기억을 관리하는 방식을 보게 된다는 데 있다. 한 장의 이미지를 이해하던 인터페이스에 시간이 더해지면, 어떤 정보를 남기고 언제 사용자를 다시 불러야 하는지가 모델 설계의 일부가 된다.

## 이름 대신 클릭으로 대상을 정한다

SAM 2의 작업은 promptable visual segmentation이다. 점, 박스, 마스크로 원하는 대상을 지정하면 그 영역을 이미지나 여러 영상 프레임에서 예측한다. 프롬프트는 자연어 문장만을 의미하지 않는다. 사용자가 찍은 위치와 제약이 입력이다.

이 방식은 클래스 이름으로 객체를 찾는 검출과 다르다. 공장에서 특정 부품의 작은 돌출부를 선택하고 싶다면, 그 부분을 가리키는 클릭이 더 직접적일 수 있다. 모델이 영역을 잘 추적한다고 해서 그 부품의 이름이나 기능까지 이해한다는 뜻은 아니다. 영역 지정과 의미 해석을 구분하면 적용 범위가 더 명확해진다.

한 점만으로는 대상이 모호할 수 있다. 사람의 손을 클릭했을 때 손 전체인지 손가락인지, 몸 전체인지 여러 해석이 가능하다. 모델이 복수 마스크 후보를 내놓는 설계에는 이런 이유가 있다. 사용자는 추가 프롬프트로 범위를 좁힐 수 있다. [원문](https://arxiv.org/abs/2408.00714)은 모호한 입력을 오류가 아니라 작업 자체의 조건으로 다룬다.

## 프레임을 읽고, 이전 대상을 꺼내 본다

각 프레임은 이미지 인코더를 거쳐 시각 특징으로 바뀐다. 현재 프레임의 특징은 memory attention을 통해 이전에 저장한 대상 정보를 참조한다. 이어 프롬프트 인코더와 마스크 디코더가 현재 프레임의 대상 영역을 예측한다.

예측한 마스크와 프레임 특징은 메모리 인코더를 거쳐 다시 메모리에 저장된다. 과거에 무엇을 선택했고 어떻게 보였는지가 다음 판단의 재료가 되는 것이다. 대상 정보를 요약하는 object pointer도 기억을 활용하는 데 사용된다. 이 포인터는 사람이 붙인 클래스 이름이 아니라 모델이 만든 표현이다.

정지 이미지는 이전 프레임의 기억이 없는 경우로 다룰 수 있다. 같은 모델을 이미지와 동영상에 사용하는 통합 관점이다. 영상은 한 프레임씩 처리할 수 있도록 구성하지만, 사용자 상호작용이 들어가는 오프라인 처리에서는 현재 기준으로 뒤쪽 프레임의 정보도 활용될 수 있다. streaming이라는 표현을 모든 사용 방식에서 미래 프레임을 절대 볼 수 없다는 뜻으로 읽으면 과하다.

이 구조를 사람의 작업과 비교하면 자연스럽다. 영상을 편집하는 사람이 매 프레임 새로 대상을 고르는 대신, 앞서 고른 영역의 색과 모양을 기억하며 따라가는 것과 닮았다. 다만 사람처럼 장기 기억이나 대상의 의도를 이해한다고까지 확장할 필요는 없다. 논문이 구현한 것은 프레임 특징, 예측 마스크, 프롬프트를 활용하는 구체적인 기억 장치다.

## 대상이 안 보일 때 빈칸도 답이다

동영상에서는 선택한 물체가 다른 물체에 가려지거나 화면 밖으로 나갈 수 있다. 이때 매 프레임 어떤 마스크를 반드시 출력하게 하면 비슷한 배경에 붙잡히기 쉽다. SAM 2는 대상의 존재 여부를 다루는 예측도 포함한다.

사고실험으로 같은 색의 공 두 개가 교차하는 영상을 생각해 보자. 한 공을 클릭했는데 잠시 가려지고, 다른 공만 보인다. 현재 프레임의 외형만 보면 다른 공을 선택하는 것이 쉬울 수 있다. 이전 기억이 도움이 되지만, 두 공이 매우 비슷하면 여전히 어려운 문제다. 기억이 있다는 사실은 신원이 완벽히 보존된다는 보증이 아니다.

더 중요한 점은 잘못된 예측이 다음 메모리의 일부가 될 수 있다는 것이다. 한 번 다른 대상에 붙으면 그 예측이 이후 추적을 강화할 수 있다. 사용자의 수정 입력을 받는 기능은 부가적인 편의가 아니라 이런 누적 오류를 바로잡는 통로다. 이는 모델 구조에서 출발한 나의 해석이다.

## 모델과 데이터가 서로를 키운다

SAM 2의 기여는 구조에만 있지 않다. 저자들은 사람이 모델의 제안을 수정하고, 그 결과를 다시 데이터와 모델 개선에 활용하는 data engine을 구성한다. 영상 객체의 시간에 따른 마스크, 즉 masklet을 수집하는 과정에서 모델이 실제 작업을 돕는다.

이렇게 하면 사람이 모든 프레임을 처음부터 칠하는 비용을 줄일 수 있다. 동시에 현재 모델이 어려워하는 사례를 발견해 새 학습 데이터로 만드는 경로도 생긴다. 쉬운 예시만 자동으로 모으는 것보다 실패를 찾아 고치는 작업이 데이터의 범위를 넓히는 데 중요하다.

물론 모델을 데이터 수집에 넣으면 모델이 잘하는 유형을 더 쉽게 모으게 될 수도 있다. 어려운 영상의 선정과 사람의 검토가 왜 필요한지 설명하는 이유다. 이 논문을 단순히 큰 데이터셋 덕분이라고 읽기보다, 큰 데이터를 어떤 상호작용으로 얻었는지 살펴볼 가치가 있다.

내가 흥미롭게 느낀 부분은 도구와 데이터 수집기의 경계가 겹친다는 점이다. 사용자가 모델을 고치는 행위가 최종 결과를 개선하는 동시에 다음 모델을 위한 학습 사례를 만든다. 실무에서도 주석 도구의 편의와 모델 성능을 따로 설계하기 어렵다는 생각이 든다.

## 정확도 옆에 수정 횟수를 놓는다

논문은 이미지와 동영상의 다양한 평가에서 성능을 비교하고, 영상에서는 원하는 품질을 얻기 위한 사용자 상호작용도 살핀다. 자동 예측의 정확도가 높다는 것과 적은 클릭으로 원하는 결과를 얻는다는 것은 관련 있지만 서로 다른 가치다.

예를 들어 초기 예측은 조금 부족해도 한 번 수정하면 긴 구간이 바로잡히는 도구가 작업자에게 더 빠를 수 있다. 반대로 평균 마스크 점수는 높아도 오류를 찾기 어렵거나 수정 효과가 불안정하면 실제 작업시간이 길어진다. 논문 결과를 제품으로 연결할 때는 총 작업시간과 수정량을 함께 측정하는 편이 좋다.

실시간 처리라는 결과도 해상도, 모델 크기, 하드웨어에 따라 이해해야 한다. 네트워크 실행 외에 동영상 디코딩, 프레임 전달, 결과 렌더링 비용이 있다. 연구의 측정값이 내가 사용하는 편집기의 전체 응답시간과 같지는 않다. 구체적인 환경에서 확인해야 한다.

빠른 움직임, 모션 블러, 작은 대상, 비슷한 객체들이 겹치는 장면은 도입 전에 꼭 시험할 조건이다. 마스크 지표 하나로는 긴 영상에서 잠깐 다른 대상을 따라가는 오류를 놓칠 수 있다. 전체 시간축에서 대상 신원이 얼마나 유지되는지도 살펴볼 필요가 있다.

## 실제 도구라면 수정의 위치가 중요하다

내가 작은 검증을 만든다면 쉬운 정면 영상보다 대상이 가려지고 다시 나타나는 구간을 먼저 고르겠다. 최초 클릭만 준 결과와 문제가 생긴 프레임에 추가 클릭을 준 결과를 비교한다. 수정이 이후 프레임으로 얼마나 잘 전달되는지 보면 상호작용의 가치를 직접 확인할 수 있다.

한 번의 클릭에 대상 범위가 여러 가지로 해석될 수 있는 작업에서는 선택 인터페이스도 중요하다. 사용자가 잘못된 후보를 고르면 추적 모델은 그 선택을 충실하게 따를 수 있다. 모델 정확도와 사용자 의도를 읽는 UI를 함께 검증해야 한다. 이 제안은 논문의 보장 사항이 아니라 적용 단계의 설계 판단이다.

SAM 2가 보여 주는 변화는 영상 분할을 한 번의 예측으로 끝내지 않는다는 데 있다. 프레임을 읽고 기억하고, 사용자가 필요할 때 고치고, 그 수정이 다시 다음 판단으로 이어진다. 시간축을 가진 시각 도구에서는 기억과 수정 가능성이 성능의 일부라는 사실을 구체적으로 보여 주는 연구다.

논문 정보: Nikhila Ravi 외, **SAM 2: Segment Anything in Images and Videos**, 2024. [논문 원문](https://arxiv.org/abs/2408.00714) · [공식 프로젝트](https://ai.meta.com/research/sam2/) · [공식 구현](https://github.com/facebookresearch/sam2)