---
title: "U-Net 대신 Transformer를 넣으면 무엇이 달라질까: DiT의 확장 실험"
author: "Dne Cna"
published_at: "2026-10-04T03:00:03.329Z"
updated_at: "2026-09-30T08:11:23.966Z"
tags: ["ai","머신러닝","논문리딩","dit"]
canonical_url: "https://ariser.io/@writer_8706b598dfee/u-net-%EB%8C%80%EC%8B%A0-transformer%EB%A5%BC-%EB%84%A3%EC%9C%BC%EB%A9%B4-%EB%AC%B4%EC%97%87%EC%9D%B4-%EB%8B%AC%EB%9D%BC%EC%A7%88%EA%B9%8C-dit%EC%9D%98-%ED%99%95%EC%9E%A5-%EC%8B%A4%ED%97%98"
ai_assisted: false
---

# U-Net 대신 Transformer를 넣으면 무엇이 달라질까: DiT의 확장 실험

[원문](https://ariser.io/@writer_8706b598dfee/u-net-%EB%8C%80%EC%8B%A0-transformer%EB%A5%BC-%EB%84%A3%EC%9C%BC%EB%A9%B4-%EB%AC%B4%EC%97%87%EC%9D%B4-%EB%8B%AC%EB%9D%BC%EC%A7%88%EA%B9%8C-dit%EC%9D%98-%ED%99%95%EC%9E%A5-%EC%8B%A4%ED%97%98)

이미지 생성 모델의 구조도를 보면 한동안 U-Net이 거의 기본값처럼 등장했다. 여러 해상도의 특징을 오가고, 건너뛰기 연결로 세부 정보를 살리는 구조는 이미지 작업에 잘 어울린다. 그런데 그 선택이 확산 모델에도 꼭 필요할까. DiT 논문은 익숙한 부품 하나를 바꾸면서 꽤 큰 질문을 던진다. 생성 품질을 끌어올리는 핵심이 이미지에 특화된 구조인지, 계산량을 늘리기 좋은 구조인지 묻는 것이다.

논문의 이름은 Scalable Diffusion Models with Transformers다. 읽을 때는 Transformer가 이미지를 만든다는 사실보다 scalable이라는 단어에 집중하면 좋다. 모델의 깊이와 폭, 입력 토큰 수를 바꿔 가며 무엇이 생성 품질과 함께 움직이는지 살펴보는 연구다.

## Transformer가 받는 것은 원본 픽셀이 아니다

DiT의 실험은 잠재 확산을 기반으로 한다. 사전 훈련된 오토인코더로 이미지를 작은 공간 표현으로 압축하고, 그 표현에 잡음을 넣어 확산 모델을 학습한다. 새 잠재 표현을 생성한 뒤 디코더로 이미지로 되돌린다. 이 오토인코더는 확산 모델 학습 중 고정한다.

Transformer는 잡음이 섞인 잠재 표현을 패치로 나누어 토큰 시퀀스로 처리한다. 위치 정보를 더하고 여러 블록을 통과시킨 뒤, 출력 토큰들을 공간 배열로 되돌려 잡음 관련 출력을 예측한다. 이미지 분류용 ViT처럼 최종 결과를 하나의 클래스 토큰에만 압축하는 작업은 아니다. 위치마다 필요한 복원 정보를 내놓아야 한다. [원문과 구조도](https://arxiv.org/abs/2212.09748)에 이 입출력 관계가 정리돼 있다.

여기서 잠재 공간을 쓰는 선택은 단순한 부연 설명이 아니다. 원본 이미지 전체를 작은 패치로 나누면 토큰 수가 빠르게 늘어난다. 압축된 표현을 사용하면 전역 attention을 계산하는 부담을 줄일 수 있다. Transformer의 성능과 오토인코더가 감당한 압축의 역할을 함께 봐야 한다.

## 시간과 클래스는 어디에 넣을까

확산 모델은 현재 잡음 수준을 알아야 하고, 조건부 생성에서는 어떤 클래스를 만들지도 알아야 한다. DiT는 이 정보를 Transformer 블록에 전달하는 여러 방식을 비교한다. 조건 토큰을 시퀀스에 붙일 수도 있고, cross-attention을 추가할 수도 있다.

가장 좋은 결과를 낸 구성은 adaLN-Zero다. 시간과 클래스 임베딩으로 정규화 이후의 스케일과 이동량, 잔차 가지의 크기를 조절한다. 조건이 블록의 작동 방식을 바꾸도록 만드는 셈이다. 초기화 시 잔차 기여가 0에서 출발하게 해 각 블록이 항등함수에 가까운 상태로 시작하도록 한다.

이 설계를 작은 볼륨 조절 장치에 비유할 수 있다. 음악 신호가 계속 흐르는 가운데 조건이 각 구간의 증폭과 보정을 조절한다. 다만 실제 블록은 고차원 특징과 attention을 처리하므로 단순한 음량 변화보다 훨씬 복잡하다. 비유의 목적은 조건을 추가 입력으로만 보는 대신 계산 과정의 조절 변수로 볼 수 있다는 점을 설명하는 데 있다.

조건 전달 방식은 외형상 작은 차이지만, 반복적으로 사용되는 블록 전체에 영향을 준다. 내 해석으로는 이 비교가 논문의 중요한 공학적 기여다. Transformer라는 이름만 가져오는 것으로 끝나지 않고, 확산이라는 작업의 시간 의존성을 그 구조 안에서 어떻게 다룰지 실제로 시험했다.

## 같은 매개변수 수라도 더 많이 계산할 수 있다

흥미로운 실험 축은 패치 크기다. 잠재 표현 한 변을 I, 패치 한 변을 p라고 하면 토큰 수는 `(I / p)^2`다. 예를 들어 32 × 32 배열을 4 × 4 패치로 나누면 64개 토큰이고, 2 × 2로 나누면 256개다. 이 숫자는 논문 성능 수치가 아니라 구조를 이해하기 위한 계산 예시다.

토큰이 네 배가 됐다고 모든 계산이 정확히 네 배가 되는 것은 아니다. 토큰별 연산과 attention의 토큰 간 상호작용은 증가 방식이 다르다. 다만 패치가 작아지면 계산량이 크게 늘어난다는 방향은 분명하다. 동시에 패치 크기를 바꾸는 선택이 매개변수 수를 같은 비율로 늘리지는 않는다.

그래서 매개변수 개수만으로 모델을 비교하면 놓치는 차이가 생긴다. 같은 폭과 깊이를 가진 모델도 입력을 얼마나 잘게 나누느냐에 따라 한 번의 호출에 더 많은 계산을 사용한다. 논문은 깊이와 폭뿐 아니라 이 토큰 수까지 바꿔, 추론 한 번의 연산량과 FID 사이의 관계를 살핀다.

이 관찰은 규모라는 단어를 좀 더 구체적으로 쓰게 만든다. 가중치가 큰 모델, 계산이 많은 모델, 오래 훈련한 모델은 서로 다른 표현이다. 어느 하나의 숫자가 나머지를 모두 대신하지 않는다.

## 실험의 범위를 정확히 읽기

저자들은 클래스 조건부 ImageNet 생성에서 모델의 계산량을 늘릴수록 FID가 개선되는 경향을 보고한다. 패치 크기, 모델 크기, 조건 전달 블록에 대한 비교도 포함한다. 따라서 Transformer가 확산의 backbone으로 작동하고, 그 안에서 크기를 확장할 일관된 설계 공간이 있다는 주장에 근거가 있다.

그러나 이 논문은 자유로운 문장을 입력받아 모든 장면을 만드는 전체 텍스트 이미지 시스템을 평가한 연구가 아니다. 클래스 조건과 텍스트 조건의 난도는 다르다. ImageNet의 FID가 좋다고 복잡한 관계 표현이나 긴 프롬프트의 충실도까지 입증됐다고 읽어서는 안 된다.

또한 생성 결과에는 잠재 표현을 압축하고 복원하는 오토인코더의 한계가 남는다. 확산 backbone이 좋아져도 압축 과정에서 사라진 정보가 모두 돌아오는 것은 아니다. 작은 글자나 얇은 선처럼 세부 묘사가 중요한 용도에서는 생성 모델과 디코더를 분리해서 살펴볼 필요가 있다.

FID 개선과 실제 운영 효율도 구별해야 한다. 연산량이 많아지면 품질은 올라갈 수 있지만 한 샘플을 만드는 비용도 변한다. 생성 과정은 네트워크를 반복 호출하므로, 한 호출에서 늘어난 비용이 전체 지연시간에 누적된다. 구조가 확장에 적합하다는 사실은 어떤 예산에서도 최선이라는 의미가 아니다.

## 모델 선정표에 토큰 수를 넣는다

실무에서는 매개변수 수, 패치 크기, 토큰 수, 실제 지연시간을 나란히 기록하면 도움이 된다. 동일한 하드웨어와 배치에서 측정해야 하고, 잠재 인코딩과 디코딩 비용도 포함하는 편이 좋다. 품질 비교에서는 샘플링 단계와 조건 강도가 같아야 해석이 가능하다. 이 기준은 논문의 실험 축을 제품 평가로 옮긴 나의 제안이다.

특히 메모리가 빠듯하면 작은 패치가 언제나 유리한 선택은 아니다. 토큰 수를 늘려 얻는 품질과 처리량 손실을 함께 봐야 한다. 반대로 매개변수 수 제한이 큰 환경에서는, 같은 가중치 구조에서 토큰 구성을 조절하는 선택지가 있다는 점이 흥미롭다.

DiT는 이미지 생성의 원리를 통째로 새로 정의한 논문보다, 어떤 구조에서 그 원리를 크게 확장할 수 있는지 탐색한 논문으로 읽을 때 더 선명하다. 오래 쓰던 U-Net이 필수 요소인지 실험으로 묻고, 그 자리에 Transformer를 놓은 뒤 무엇을 늘려야 품질이 좋아지는지 확인한다. 좋은 구조의 이름보다 좋은 비교의 기준이 오래 남는 연구다.

논문 정보: William Peebles, Saining Xie, **Scalable Diffusion Models with Transformers**, 2022 공개, ICCV 2023. [논문 원문](https://arxiv.org/abs/2212.09748) · [공식 코드](https://github.com/facebookresearch/DiT)