숨은 픽셀 대신 숨은 의미를 예측한다: I-JEPA의 학습 목표

가려진 사진을 예측하라고 할 때 정답이 꼭 픽셀이어야 할까. 고양이의 몸통이 보이면 숨겨진 부분에도 고양이의 몸이 이어진다는 것은 짐작할 수 있다. 그러나 털 한 올의 위치나 그림자의 정확한 색까지 맞히기는 어렵다. 유용한 표현을 배우려는 모델에게 이 모든 세부 정보를 똑같이 요구할 필요가 있을까.

I-JEPA는 가려진 영역을 이미지로 복원하는 대신 그 영역의 표현을 예측한다. 설명만 들으면 예측 대상을 바꾼 작은 변형처럼 보인다. 하지만 무엇을 정답으로 삼느냐가 모델이 중요하게 여기는 정보와 계산할 일을 함께 바꾼다. 이 논문은 자기지도 학습의 목적을 다시 묻게 만든다.

픽셀 정답 대신 학습된 정답을 만든다

I-JEPA에는 문맥 인코더, 목표 인코더, 예측기가 있다. 목표 인코더는 전체 이미지를 보고 패치별 표현을 만든다. 여기에서 일부 영역의 표현을 골라 학습 목표로 삼는다. 문맥 인코더는 목표 영역을 가린 입력을 보고 남은 부분의 특징을 만든다.

예측기는 문맥 특징과 목표 위치 정보를 받아, 가려진 각 패치의 표현을 예측한다. 예측한 벡터와 목표 인코더가 만든 벡터의 차이를 줄인다. 예측기의 입력에는 공유 mask token에 위치 임베딩을 더한 정보가 들어가므로, 같은 문맥에서도 어느 영역을 예측할지 구별할 수 있다. 원문의 방법 절을 보면 세 구성요소의 정보 흐름이 분명해진다.

여기서 목표 인코더는 가려진 조각만 따로 본 것이 아니다. 전체 이미지의 문맥 속에서 그 위치의 표현을 만든 뒤 필요한 영역을 선택한다. 이 순서는 중요한 차이다. 작은 조각의 색만 표현하는 것과 장면 속에서 그 조각이 어떤 역할을 갖는지 표현하는 것은 같은 정답이 아니다.

일반적인 지도학습의 정답은 고정돼 있다. 이 경우 정답을 만드는 인코더도 학습 과정에서 바뀐다. 따라서 어떤 정답을 향해 학습하느냐뿐 아니라, 그 정답이 어떻게 움직이느냐도 설계해야 한다.

목표 인코더를 급하게 바꾸지 않는다

문맥 인코더와 예측기는 손실을 통해 업데이트된다. 목표 인코더는 그 손실로 직접 역전파해 갱신하는 대신 문맥 인코더 매개변수의 지수이동평균을 따라간다. 학생이 배우는 동안 정답을 제공하는 쪽은 조금 더 느리게 움직이는 셈이다.

이 구조는 안정적인 학습 신호를 만드는 데 중요하다. 두 인코더가 아무 조건 없이 서로 같은 출력만 만들려 한다면, 모든 이미지에 같은 벡터를 반환하는 붕괴가 걱정된다. 이동평균 목표, 예측기와 인코더의 비대칭, 문맥과 목표의 구성은 실제 학습 설계의 일부다.

그렇다고 이동평균만 추가하면 어떤 자기지도 모델에서도 붕괴를 막는다고 말할 수는 없다. 논문에서 사용한 구조와 목표가 함께 작동하는 결과다. 단일 부품을 떼어 일반적인 보증처럼 이해하면 구현 중 문제를 설명하기 어려워진다.

내 해석으로는 표현 공간에서 정답을 배운다는 선택이 이 연구의 가능성과 어려움을 동시에 만든다. 불필요한 픽셀 세부 정보를 모두 강제하지 않을 수 있지만, 어떤 정보를 남길지도 목표 인코더와 학습 구조에 맡겨야 한다. 중요한 정보를 남기는지는 결국 실험으로 확인해야 한다.

무엇을 가리는지가 무엇을 배우는지 정한다

I-JEPA는 비교적 큰 목표 블록들을 고르고, 충분한 정보를 갖는 문맥 블록을 사용한다. 문맥과 목표가 겹치는 부분은 문맥에서 제거한다. 목표를 그대로 볼 수 있다면 예측 문제가 너무 쉬워지기 때문이다.

목표 영역이 지나치게 작으면 주변의 국소 질감만으로 맞히기 쉬울 수 있다. 반대로 문맥에서 중요한 단서를 거의 다 없애면 의미 있는 예측 자체가 어려워진다. 큰 목표 영역과 공간적으로 분산된 충분한 문맥 사이의 균형이 핵심이다. 논문은 마스킹 전략을 바꾼 비교로 이를 뒷받침한다.

간단한 예시로 자전거 사진을 생각해 보자. 바퀴의 작은 표면만 가리면 원형 질감이나 색을 이어 붙이는 문제에 가까워질 수 있다. 바퀴의 넓은 부분을 가리고 프레임과 핸들을 보여 주면, 장면의 구조를 이용할 필요가 커진다. 이는 마스킹의 의도를 설명하기 위한 사고실험이며, 논문이 자전거 개념을 명시적인 기호로 추론한다고 주장하는 것은 아니다.

이 방법은 여러 강한 이미지 변형을 만들어 같은 표현으로 맞추는 기존 접근과도 비교된다. I-JEPA는 그런 수작업 불변성 설계에 덜 의존하는 방향을 제시한다. 다만 무작위 영역 선택이나 입력 전처리까지 전혀 없다는 뜻은 아니다. 무엇을 같은 것으로 취급할지 정하는 강한 증강과, 예측 문제를 만드는 마스킹을 구분해서 읽어야 한다.

픽셀을 만들지 않는데 성능은 어떻게 확인할까

결과를 이미지로 보여 주는 생성 모델보다 평가가 덜 직관적일 수 있다. 표현 벡터가 사람 눈에 직접 보이지 않기 때문이다. 저자들은 인코더가 만든 특징을 분류, 물체 수 세기, 깊이 관련 작업 등에 사용해 표현의 유용성을 평가한다.

여기에서도 어떤 부분을 고정했고 어떤 예측기를 학습했는지 확인해야 한다. 사전 학습에 클래스 라벨을 쓰지 않았다는 사실이 모든 downstream 결과에 라벨이 없다는 의미는 아니다. 좋은 표현을 준비하는 단계와 그 표현을 작업에 연결하는 단계는 별개다.

논문의 흥미로운 주장은 의미적인 표현을 얻기 위해 모든 픽셀을 정확히 재현할 필요는 없다는 것이다. 그러나 표현 공간에서 예측하면 항상 더 좋은 모델이라는 보편적 결론까지 보여 준 것은 아니다. 세밀한 질감이나 색이 중요한 작업에서는 버려도 된다고 생각한 정보가 실제로 필요할 수 있다.

또한 정지 이미지의 숨은 영역 표현을 예측했다고 해서 일반적인 세계 모델이나 행동 계획 능력이 자동으로 생기는 것은 아니다. 시간에 따른 변화, 행동의 결과, 장기 의사결정은 다른 학습 신호와 평가를 요구한다. JEPA라는 넓은 아이디어와 이 논문이 실제로 시험한 I-JEPA의 범위를 구분하면 과도한 기대를 줄일 수 있다.

내 업무에서 생략해도 되는 정보는 무엇일까

실무에서는 표현이 어떤 세부 사항을 유지해야 하는지 먼저 정의하는 편이 좋다. 동물 종을 분류하는 경우 털 한 올의 정확한 배치는 필요 없을 수 있다. 반대로 인쇄 불량 검사에서는 작은 점 하나나 색 변화가 핵심일 수 있다. 같은 자기지도 목표를 모든 작업의 정답으로 두기 어렵다.

내가 적용을 검토한다면 기존 픽셀 복원 기반 초기화와 I-JEPA 기반 초기화를 같은 라벨 예산으로 비교하겠다. 큰 물체의 의미 분류와 작은 결함 탐지를 따로 측정하면 어느 정보가 유지되고 있는지 더 잘 드러난다. 이 비교는 논문 수치를 재현한다는 약속이 아니라 모델 선정에 필요한 질문이다.

모델을 직접 학습한다면 문맥에서 목표 영역이 제대로 제거되는지부터 확인해야 한다. 목표 인코더가 전체 이미지를 처리하고 필요한 위치를 선택하는지, 목표 쪽으로 그라디언트가 흐르지 않는지, 이동평균이 의도한 시점에 갱신되는지도 중요하다. 정보가 새어 들어가면 손실은 잘 줄어도 실제로 원하는 예측 능력은 배우지 못할 수 있다.

I-JEPA를 읽고 남는 질문은 모델이 얼마나 많이 복원했느냐보다 무엇을 복원하지 않아도 되느냐에 가깝다. 불확실한 세부 사항을 전부 맞히게 하는 대신, 유용한 표현에서 예측 가능한 구조를 배우게 한다. 그 생략이 정말 적절한지는 후속 작업으로 검증해야 하지만, 학습 목표를 고르는 방식 자체를 넓혀 주는 논문이다.

논문 정보: Mahmoud Assran, Quentin Duval, Ishan Misra, Piotr Bojanowski, Pascal Vincent, Michael Rabbat, Yann LeCun, Nicolas Ballas, Self-Supervised Learning from Images with a Joint-Embedding Predictive Architecture, 2023, CVPR. 논문 원문 · 공식 구현