---
title: "긴 복원 과정을 한 번에 건너뛰는 법: Consistency Models"
author: "Dne Cna"
published_at: "2026-10-03T03:00:00.079Z"
updated_at: "2026-09-30T08:10:07.963Z"
tags: ["ai","머신러닝","논문리딩","consistency"]
canonical_url: "https://ariser.io/@writer_8706b598dfee/%EA%B8%B4-%EB%B3%B5%EC%9B%90-%EA%B3%BC%EC%A0%95%EC%9D%84-%ED%95%9C-%EB%B2%88%EC%97%90-%EA%B1%B4%EB%84%88%EB%9B%B0%EB%8A%94-%EB%B2%95-consistency-models"
ai_assisted: false
---

# 긴 복원 과정을 한 번에 건너뛰는 법: Consistency Models

[원문](https://ariser.io/@writer_8706b598dfee/%EA%B8%B4-%EB%B3%B5%EC%9B%90-%EA%B3%BC%EC%A0%95%EC%9D%84-%ED%95%9C-%EB%B2%88%EC%97%90-%EA%B1%B4%EB%84%88%EB%9B%B0%EB%8A%94-%EB%B2%95-consistency-models)

이미지 생성 버튼을 누르고 기다리는 몇 초 동안, 모델은 같은 그림을 여러 번 고쳐 그린다. 반복을 줄이면 빨라지지만 대개 품질이 떨어진다. 그런데 꼭 중간 그림을 순서대로 계산해야 할까. 중간 상태 어디에서 출발하든 마지막 결과를 바로 말할 수 있는 함수를 배운다면, 긴 복원 과정을 한 번의 호출로 건너뛸 수 있다.

Consistency Models의 매력은 이 상상을 단순한 속도 개선 요령이 아니라 새로운 학습 목표로 만든 데 있다. 같은 복원 경로 위의 서로 다른 상태가 같은 결과를 내놓도록 훈련한다. 여기서 consistency는 분산 시스템의 일관성과 관계없는 말이다. 생성 궤적을 따라 이동해도 모델의 답이 바뀌지 않는다는 뜻이다.

## 한 경로에는 하나의 도착지가 있다

확산 모델은 잡음이 많은 상태를 점차 데이터 쪽으로 옮긴다. 이를 특정한 결정적 미분방정식, probability flow ODE로 표현할 수 있다. 이 ODE의 한 궤적에는 잡음 수준이 다른 여러 상태가 있고, 모두 같은 낮은 잡음의 끝점으로 이어진다.

Consistency function은 현재 상태 x와 잡음 수준 t를 받아 그 끝점을 반환한다. 같은 궤적 위에 있는 두 상태라면 `f(x_a, t_a) = f(x_b, t_b)`가 되어야 한다. 잘 배운 함수에 높은 잡음의 샘플을 넣으면 곧바로 이미지 쪽 끝점을 얻는다. [원문](https://arxiv.org/abs/2303.01469)은 이 성질을 모델의 정의로 삼는다.

산길을 떠올리면 이해하기 쉽다. 등산객이 같은 하산 경로의 서로 다른 지점에 있을 때, 안내자는 남은 길을 매번 실제로 걸어 보지 않고도 같은 주차장을 가리킬 수 있다. 이 비유에서 중요한 것은 같은 경로라는 조건이다. 서로 가까운 두 점이 언제나 같은 결과를 가져야 한다는 뜻은 아니다. 다른 경로의 점들을 모두 같게 만들면 다양한 이미지를 만들 수 없게 된다.

## 모두 같은 답을 내놓는 편법을 막는다

두 출력이 같아야 한다는 손실만 보면 걱정할 부분이 있다. 아무 입력에나 회색 이미지 한 장을 내놓아도 두 답은 같다. 따라서 일관성만으로는 의미 있는 생성 모델이 되지 않는다.

논문은 낮은 잡음의 경계에서 함수가 입력 자체를 반환하도록 강제한다. 아주 마지막 상태에 도착했으면 더 바꿀 필요가 없다는 조건이다. 실제 구현은 입력을 그대로 전달하는 경로와 신경망 출력을 결합하고, 경계에서 신경망 쪽 계수가 사라지게 만들 수 있다. 이 경계 조건 덕분에 모든 입력을 같은 상수로 보내는 단순한 해는 허용되지 않는다.

그렇다고 경계 조건 하나면 어떤 설정에서도 학습이 안정적이라는 결론이 나오는 것은 아니다. 목표 네트워크의 갱신, 시간 간격, 거리 함수도 영향을 준다. 구조상 불가능한 편법을 제거하는 일과 실제 최적화가 좋은 해에 도달하도록 만드는 일은 구분해서 읽어야 한다.

## 교사가 있을 때와 없을 때

첫 번째 방법은 consistency distillation이다. 이미 훈련된 확산 모델을 교사로 사용한다. 잡음이 많은 상태에서 교사의 ODE를 한 구간 따라가면, 같은 궤적 위의 조금 덜 시끄러운 상태를 근사할 수 있다. 학생 모델은 두 상태에서 같은 끝점을 예측하도록 학습한다. 한쪽은 현재 학습 중인 네트워크, 다른 쪽은 매개변수의 이동평균으로 갱신되는 목표 네트워크를 사용하고, 목표 쪽으로는 역전파하지 않는다.

두 번째는 consistency training이다. 사전 훈련된 확산 교사 없이 실제 데이터에서 시작한다. 같은 이미지에 같은 잡음 방향을 서로 다른 크기로 더한 두 상태를 만들어 일관성 손실을 구성한다. 이때 두 상태가 유한한 시간 간격에서 정확히 같은 ODE 궤적이라고 간주하면 설명이 과해진다. 논문은 시간 간격을 줄이는 조건에서 이 학습이 증류 목표와 어떻게 연결되는지 분석한다.

이 구분은 구현을 고를 때 중요하다. 증류는 기존 교사가 배운 분포와 품질을 활용하지만 교사의 훈련 비용이 먼저 필요하다. 독립 학습은 그 의존성을 없애는 대신, 동일한 품질을 자동으로 가져오는 방법이 아니다. 논문에서도 두 설정의 성능을 구별해서 보고한다.

## 한 번으로 끝내도 되고, 한 번 더 다듬어도 된다

한 번 생성할 수 있다는 설계는 항상 한 번만 사용해야 한다는 뜻이 아니다. 모델이 만든 이미지에 정해진 수준의 잡음을 다시 더하고, 함수를 다시 적용하는 방식으로 품질과 계산량을 조절할 수 있다. 긴 ODE 적분을 그대로 수행하는 방식과는 다르지만, 추가 호출을 통해 결과를 개선할 여지를 남긴다.

여기서 흥미로운 실험은 같은 초기 잡음에서 호출 횟수를 늘렸을 때 무엇이 유지되고 무엇이 바뀌는지 보는 것이다. 물체 배치가 유지된 채 질감만 정리되는지, 아예 다른 구도로 이동하는지에 따라 사용자 경험이 달라진다. 이미지 편집 도구라면 몇 밀리초를 아끼는 것만큼 수정할 때 결과가 얼마나 안정적인지도 중요하다. 이는 논문 결과에 붙인 나의 제품 관점 해석이다.

논문은 인페인팅, 색채화, 초해상도 같은 편집에도 이 모델을 사용할 수 있음을 보여 준다. 제약에 맞는 부분을 유지하면서 생성과 잡음 추가를 결합하는 방식이다. 해당 작업의 전용 데이터로 별도 훈련하지 않았다는 점이 흥미롭지만, 모든 편집 요청을 완벽히 수행한다는 의미는 아니다. 관측 정보와 생성 분포가 맞지 않는 문제에서는 별도 검증이 필요하다.

## 실험이 지지하는 주장과 남는 질문

저자들은 CIFAR-10, ImageNet의 낮은 해상도 설정, LSUN 등에서 한 번 또는 소수 호출로 만드는 샘플을 평가한다. 기존 확산 증류 기법과의 비교가 주요 근거이며, 교사 없이 학습한 모델도 따로 다룬다. 결과는 일관성이라는 목표가 빠른 생성에 유효하다는 증거다. 그것을 임의의 고해상도 텍스트 조건부 모델에 그대로 적용하면 같은 성능이 나온다는 보장으로 확장해서는 안 된다.

품질 평가에서도 FID와 실제 실패 사례를 함께 봐야 한다. 분포의 평균적인 특징이 잘 맞아도 드문 구도, 글자, 세밀한 속성은 무너질 수 있다. 빠른 모델이 서비스에 유리한지는 지표뿐 아니라 사용자 요청의 성공률과 최대 지연시간까지 포함해 판단해야 한다.

구현할 때는 먼저 경계에서 입력이 그대로 반환되는지 확인하는 편이 좋다. 이어 목표 네트워크에 그라디언트가 들어가지 않는지, 시간 수준을 바꿔 만든 입력이 의도한 노이즈 크기를 갖는지 본다. 마지막으로 한 번 생성과 추가 호출의 품질 차이를 같은 조건에서 비교한다. 손실이 낮다는 이유만으로 일관성이 제대로 학습됐다고 단정하지 않는 것이 좋다.

내가 이 논문에서 가장 재미있게 읽은 부분은 계산을 생략하는 방식이다. 중간 계산을 무작정 삭제하는 대신, 중간 계산을 해도 변하지 않아야 하는 답을 학습한다. 모델에게 다음 한 걸음의 방향을 묻던 문제를 최종 목적지를 묻는 문제로 바꾸는 순간, 속도를 개선할 전혀 다른 공간이 열린다.

논문 정보: Yang Song, Prafulla Dhariwal, Mark Chen, Ilya Sutskever, **Consistency Models**, 2023. [논문 원문](https://arxiv.org/abs/2303.01469) · [공식 코드와 체크포인트](https://github.com/openai/consistency_models)