---
title: "라벨 없이 배운 눈은 어디까지 쓸 수 있을까: DINOv2의 시각 표현"
author: "Dne Cna"
published_at: "2026-10-05T03:00:03.712Z"
updated_at: "2026-09-30T08:12:38.306Z"
tags: ["ai","머신러닝","논문리딩","dinov2"]
canonical_url: "https://ariser.io/@writer_8706b598dfee/%EB%9D%BC%EB%B2%A8-%EC%97%86%EC%9D%B4-%EB%B0%B0%EC%9A%B4-%EB%88%88%EC%9D%80-%EC%96%B4%EB%94%94%EA%B9%8C%EC%A7%80-%EC%93%B8-%EC%88%98-%EC%9E%88%EC%9D%84%EA%B9%8C-dinov2%EC%9D%98-%EC%8B%9C%EA%B0%81-%ED%91%9C%ED%98%84"
ai_assisted: false
---

# 라벨 없이 배운 눈은 어디까지 쓸 수 있을까: DINOv2의 시각 표현

[원문](https://ariser.io/@writer_8706b598dfee/%EB%9D%BC%EB%B2%A8-%EC%97%86%EC%9D%B4-%EB%B0%B0%EC%9A%B4-%EB%88%88%EC%9D%80-%EC%96%B4%EB%94%94%EA%B9%8C%EC%A7%80-%EC%93%B8-%EC%88%98-%EC%9E%88%EC%9D%84%EA%B9%8C-dinov2%EC%9D%98-%EC%8B%9C%EA%B0%81-%ED%91%9C%ED%98%84)

공장 사진 몇 천 장이 있는데 불량 라벨은 아직 없다. 사진에서 제품 영역을 찾고 싶기도 하고, 비슷한 제품을 검색하고 싶기도 하다. 작업마다 큰 모델을 새로 훈련하기 전에, 이미지를 쓸 만한 벡터로 바꿔 주는 범용 도구가 있으면 좋겠다. DINOv2는 이 바람을 정면으로 다룬 논문이다.

이미지 모델의 성능을 이야기할 때 우리는 최종 분류 정확도부터 보는 경우가 많다. 이 연구는 조금 다른 질문을 한다. 모델을 고정하고 그 위에 간단한 예측기만 올려도 여러 작업에서 유용한가. 잘 배운 시각 표현 자체를 소프트웨어 부품처럼 가져다 쓸 수 있는지 묻는다.

## 라벨 없이 배우지만, 데이터를 대충 모으지는 않는다

제목의 without supervision은 사전 학습 이미지에 사람의 클래스 정답이나 설명문을 붙이지 않는다는 의미다. 아무 이미지를 무작정 많이 넣어도 된다는 뜻은 아니다. DINOv2는 데이터 구성에 상당한 비중을 둔다.

저자들은 큰 비정제 이미지 집합에서 중복을 줄이고, 시각적 유사성을 이용해 선별된 데이터와 가까운 이미지를 찾는 방식으로 학습 집합을 만든다. 데이터가 일부 흔한 모습에만 몰리는 문제를 완화하며 다양성을 확보하려 한다. [원문](https://arxiv.org/abs/2304.07193)의 데이터 처리 절을 읽으면 학습 알고리즘과 데이터 구성의 경계가 생각보다 흐리다는 사실이 보인다.

이를 실제 상황에 대입해 보자. 쇼핑몰 사진을 수집했는데 흰 배경 위의 신발만 압도적으로 많다면, 데이터 수가 커져도 다른 환경의 시각 구조를 충분히 배우지 못할 수 있다. 같은 제품의 거의 동일한 사진을 반복해서 넣는 것도 새로운 정보를 늘리는 것과 다르다. 이것은 논문 수치를 재현한 실험이 아니라 데이터 다양성이 중요한 이유를 설명하는 예시다.

내가 이 논문에서 먼저 읽은 메시지는 라벨을 생략한 만큼 데이터 설계를 더 신경 써야 한다는 것이다. supervision이 없다는 표현을 설계자의 판단이 없다는 표현으로 받아들이면 중요한 일을 놓친다.

## 학생은 다른 시야를 가진 교사를 따라간다

학습의 중심에는 학생 네트워크와 교사 네트워크가 있다. 같은 이미지에서 서로 다른 크롭을 만들고, 학생이 교사의 출력 분포를 따라가도록 한다. 교사는 사람이 라벨을 붙이는 장치가 아니라 학생 매개변수의 이동평균으로 갱신되는 모델이다.

이미지 수준의 목표는 전체 장면의 표현을 맞추는 데 기여한다. 여기에 패치 수준의 목표도 더한다. 학생에게는 일부 패치를 가려 보여 주고, 그 위치에 대한 예측이 가리지 않은 이미지를 본 교사의 표현과 맞도록 학습한다. 픽셀을 그대로 복원하는 손실이 아니라 학습된 특징의 분포를 맞추는 방식이다.

전체 이미지 목표만 있으면 장면을 대표하는 특징이 유용해질 수 있지만, 각 위치의 세부 정보까지 반드시 좋다고 기대할 수는 없다. 패치 수준 목표를 함께 두는 선택은 이미지 검색뿐 아니라 영역별 예측에도 표현을 활용하려는 목적과 연결된다.

두 네트워크가 서로를 따라간다고만 설명하면 순환처럼 보일 수 있다. 실제로는 교사 갱신 속도, 출력 분포의 균형, 특징들이 한곳으로 몰리지 않도록 하는 정규화 등이 함께 작동한다. 논문은 큰 규모에서 학습을 안정화하는 여러 조합을 실험한다. 따라서 DINOv2를 단일 손실식 하나의 성공으로 축약하기 어렵다.

## 큰 교사의 지식을 작은 모델로 옮긴다

모델이 클수록 좋은 특징을 배우더라도 모든 서비스가 큰 모델을 사용할 수는 없다. DINOv2는 큰 모델을 학습한 뒤, 고정한 교사의 출력을 작은 학생들이 따라가게 해 여러 크기의 모델을 만든다. 처음의 자기 증류 과정과 최종 작은 모델을 만드는 증류는 관련은 있지만 같은 상황이 아니다. 후자에서는 이미 배운 큰 교사가 기준이 된다.

이 점은 실무에서 반갑다. 연구의 최고 성능과 실제 배포 가능한 모델 사이에 다리가 생긴다. 다만 작은 모델이 큰 모델의 모든 능력을 유지한다는 뜻은 아니다. 분류, 검색, 위치별 작업 중 어디에서 성능 차이가 커지는지 따로 살펴봐야 한다.

전체 이미지 벡터와 패치 벡터를 구분하는 것도 중요하다. 사진끼리 비슷한지 비교할 때는 이미지 전체의 특징이 편할 수 있다. 제품의 특정 부분이나 결함 위치를 찾으려면 패치 특징이 더 유용할 수 있다. 어떤 출력을 가져오는지에 따라 같은 backbone으로도 완전히 다른 시스템을 만들게 된다.

## 특징이 좋아 보인다는 것과 업무에 맞는다는 것

논문은 분류뿐 아니라 검색, 의미 분할, 깊이 예측 등 다양한 평가를 수행한다. 고정한 특징 위에서 간단한 모델을 학습하는 평가가 범용성을 보여 주는 중요한 근거다. 동시에 각 작업의 평가 절차와 예측기의 종류를 살펴야 한다. 모든 결과가 아무 라벨 없이 바로 나온 것은 아니다.

특히 사전 학습에 라벨이 없다는 사실과 downstream 작업에 라벨이 전혀 필요 없다는 주장은 다르다. 분류기로 표현을 평가하려면 클래스 정답이 사용될 수 있다. 새로운 공장 결함을 알려 주려면 소량의 업무 라벨이 여전히 필요할 수 있다. 좋은 특징은 그 비용을 줄일 가능성을 열지만 업무 정의를 대신하지 않는다.

또한 DINOv2는 기본적으로 이미지의 시각 표현을 만드는 모델이다. 문장을 입력해 이미지를 검색하려면 텍스트와 연결하는 별도 구조나 학습이 필요하다. 시각적으로 비슷한 사진을 찾는 능력과 자연어 의미를 이해하는 능력을 같은 것으로 취급하면 모델 선택이 어긋날 수 있다.

패치 특징을 색으로 시각화했을 때 비슷한 물체 부분이 잘 대응하는 모습은 인상적이다. 그러나 예쁜 특징 지도만으로 정확한 경계 검출이나 인스턴스 구분이 입증되지는 않는다. 실제 작업의 위치 정답과 비교해야 한다. 시각화는 후보 가설을 만드는 도구이고, 성능을 대신하는 도구는 아니다.

## 가장 먼저 해 볼 작은 실험

새 프로젝트에서 내가 권하고 싶은 시작점은 backbone을 고정한 채 간단한 검색과 분류를 동시에 해 보는 것이다. 예를 들어 서로 다른 날짜와 카메라로 촬영한 제품 사진을 따로 평가 집합에 둔다. 비슷한 사진을 잘 찾는지, 가벼운 분류기가 관심 속성을 구분하는지 살펴보면 표현의 유용성을 빨리 파악할 수 있다.

이때 같은 제품의 유사 사진이 학습과 평가 양쪽에 섞이면 결과가 과하게 좋아질 수 있다. 촬영 환경이나 제품 단위로 나누는 평가가 실제 사용 조건을 더 잘 반영할 수 있다. 내 제안은 논문의 특정 수치가 아니라 범용 특징을 업무에 검증하는 방법이다.

모델을 더 크게 바꾸기 전에는 해상도도 확인할 만하다. 작은 결함이 입력 축소에서 사라졌다면 좋은 표현 모델도 그 정보를 복구하기 어렵다. 패치 단위 결과를 사용할 경우에는 원본 좌표로 되돌리는 방법과 관심 영역의 크기가 성능에 직접 영향을 준다.

DINOv2를 읽는 재미는 새 모델이 등장했다는 사실보다 이미지 표현을 재사용 가능한 자산으로 바라보게 되는 데 있다. 라벨 없는 데이터에서 범용 시각 특징을 배우고, 그 특징을 여러 작업과 여러 모델 크기로 옮긴다. 실제 프로젝트에서는 거대한 학습을 시작할지 결정하기 전에 이 자산이 이미 문제의 상당 부분을 풀어 주는지 확인할 이유가 생긴다.

논문 정보: Maxime Oquab 외, **DINOv2: Learning Robust Visual Features without Supervision**, 2023 공개. [논문 원문](https://arxiv.org/abs/2304.07193) · [공식 코드와 모델](https://github.com/facebookresearch/dinov2)