---
title: "학습이 끝나갈 때 feature는 왜 정삼각형을 닮을까: Neural Collapse"
author: "Dne Cna"
published_at: "2026-10-08T10:00:04.900Z"
updated_at: "2026-09-30T08:21:13.114Z"
tags: ["ai","머신러닝","논문리딩","neural collapse"]
canonical_url: "https://ariser.io/@writer_8706b598dfee/%ED%95%99%EC%8A%B5%EC%9D%B4-%EB%81%9D%EB%82%98%EA%B0%88-%EB%95%8C-feature%EB%8A%94-%EC%99%9C-%EC%A0%95%EC%82%BC%EA%B0%81%ED%98%95%EC%9D%84-%EB%8B%AE%EC%9D%84%EA%B9%8C-neural-collapse"
ai_assisted: false
---

# 학습이 끝나갈 때 feature는 왜 정삼각형을 닮을까: Neural Collapse

[원문](https://ariser.io/@writer_8706b598dfee/%ED%95%99%EC%8A%B5%EC%9D%B4-%EB%81%9D%EB%82%98%EA%B0%88-%EB%95%8C-feature%EB%8A%94-%EC%99%9C-%EC%A0%95%EC%82%BC%EA%B0%81%ED%98%95%EC%9D%84-%EB%8B%AE%EC%9D%84%EA%B9%8C-neural-collapse)

신경망의 마지막 feature 공간을 보면 데이터의 복잡성이 그대로 남아 있을 것 같다. 같은 고양이 사진이라도 배경과 자세가 다르고, 고양이와 개는 자동차보다 비슷하다. 그렇다면 분류기의 마지막 공간도 이런 차이를 고스란히 담고 있어야 할까.

Neural Collapse 논문은 학습을 충분히 진행한 분류기에서 뜻밖의 단순한 기하를 관찰한다. 같은 class의 feature는 서로 가까워지고, class의 중심들은 매우 대칭적인 배치에 접근한다. 복잡한 입력을 처리한 결과가 마지막 단계에서 오히려 정돈된 모양으로 모인다는 점이 흥미롭다. [Neural Collapse 원문](https://arxiv.org/abs/2008.08186)

## 모든 학습 예제를 맞힌 뒤의 공간

논문은 training classification error가 사실상 0이 된 뒤에도 cross-entropy loss를 더 줄이는 구간에 주목한다. 저자들은 이를 Terminal Phase of Training, TPT라 부른다. 정확도는 더 좋아질 여지가 없어 보여도, 정답 class의 점수를 다른 class보다 더 강하게 만들 수 있으므로 손실과 내부 표현은 계속 변한다.

여기서 보는 feature는 주로 마지막 linear classifier 직전의 activation이다. 이미지의 모든 정보가 어느 층에서든 사라진다는 이야기가 아니다. 학습 데이터의 마지막 표현과 classifier의 관계를 관찰한다는 범위를 먼저 정해 두어야 collapse라는 단어를 오해하지 않는다.

collapse도 모델이 망가져 모든 입력에 같은 출력을 내는 현상을 뜻하지 않는다. class 내부의 변동이 줄어드는 동안 class 사이의 구분은 유지된다. 같은 class가 모이고 다른 class는 떨어지는 종류의 단순화다. 전체 표본이 한 점에 모이는 representation collapse와는 기하가 다르다. [관찰한 공간과 학습 단계](https://arxiv.org/pdf/2008.08186)

## 네 가지 관찰을 하나의 그림으로

논문은 연결된 네 현상을 NC1부터 NC4로 정리한다. 첫째, class 내부의 feature 변동이 class 사이의 크기에 비해 작아진다. 둘째, 전체 평균을 뺀 class 중심들이 비슷한 길이와 같은 pairwise angle을 갖는 simplex equiangular tight frame에 접근한다. 셋째, classifier의 weight 방향이 대응하는 class 중심과 정렬된다. 넷째, 분류 결정이 가장 가까운 class 중심을 고르는 규칙과 가까워진다. [네 가지 Neural Collapse 현상](https://pmc.ncbi.nlm.nih.gov/articles/PMC7547234/)

세 class를 설명용으로 그리면 정삼각형이 쉽다. 각 class의 중심이 삼각형 꼭짓점에 있고, 그 class의 학습 feature들이 꼭짓점 근처에 모인다. 네 class라면 고차원에서는 정사면체 같은 배치를 떠올릴 수 있다. class가 더 많아지면 평면 그림으로는 충분하지 않지만, 서로 동등하게 벌어진다는 생각은 같다.

K개 class의 중심 방향을 정규화했을 때 이상적인 simplex에서는 서로 다른 두 방향의 inner product가 -1/(K-1)이다. 모두가 같은 음의 값이라는 점이 핵심이다. 이 식은 실제 학습마다 유한 시간에 정확히 성립하는 조건이 아니라, 논문이 관찰하는 대칭 기하의 이상적인 형태다.

이 그림에서 고양이와 개가 특별히 가까운 자리를 차지해야 할 이유는 없다. 마지막 표현은 입력의 의미적 유사성보다 현재 분류 목표에 필요한 class 분리를 우선할 수 있다. 나는 이 점이 마지막 feature를 곧바로 보편적인 의미 공간으로 해석하는 습관을 다시 생각하게 만든다고 느꼈다.

## linear classifier와 최근접 중심이 닮아지는 이유

일반적인 마지막 classifier는 class별 score w_cᵀh + b_c를 계산한다. 최근접 중심 방식은 feature h와 각 class 중심 μ_c 사이의 거리를 비교한다. 둘은 겉으로 다른 규칙이지만 중심의 norm이 같고 weight가 중심과 정렬되면 가까워질 수 있다.

거리의 제곱을 펼쳐 보자. ||h - μ_c||² = ||h||² - 2hᵀμ_c + ||μ_c||²다. 첫 항은 모든 class에서 같고, 마지막 항도 중심 norm이 같으면 class와 무관하다. 그러면 거리를 최소화하는 일은 hᵀμ_c를 최대화하는 일과 같다. 마지막 linear score와 최근접 중심의 연결이 드러난다.

이 계산은 NC2와 NC3가 NC4를 이해하는 데 왜 필요한지 보여 준다. 단순히 feature들이 모였다는 사실만으로 linear classifier가 곧바로 최근접 중심이 되는 것은 아니다. 중심들의 길이와 classifier 정렬 같은 조건이 함께 들어간다.

또 실제 classifier에는 bias와 유한 학습 오차가 있다. 위 전개는 기하를 이해하기 위한 이상화다. 원문은 classifier 결정과 nearest class-center 결정이 얼마나 일치하는지도 관찰한다. 한 줄 대수로 모든 실제 모델의 동작을 확정하지 않고 측정으로 확인하는 부분을 함께 읽는 편이 좋다.

## 그림 대신 무엇을 측정할까

feature를 2차원에 투영해 군집이 보이면 충분하다고 생각하기 쉽다. 하지만 투영에서는 class 중심 사이의 각도가 왜곡될 수 있고, 높은 차원의 내부 변동이 잘 안 보일 수 있다. 이 논문은 중심 norm의 편차, pairwise cosine, 내부 공분산과 중심 간 공분산의 관계, classifier와 중심의 정렬을 측정한다. [측정 정의와 실험](https://arxiv.org/pdf/2008.08186)

내 모델에서 비슷한 현상을 확인한다면, feature extractor와 마지막 classifier를 분리해서 checkpoint마다 같은 데이터의 activation을 모을 것이다. class별 중심을 계산하고 전체 평균을 뺀 뒤, 각도와 상대적인 내부 변동을 기록한다. 정확도 하나가 포화된 다음에도 표현이 계속 변하는지 볼 수 있다.

이때 절대적인 내부 분산만 보는 것은 조심해야 한다. feature 전체의 scale이 커지거나 작아지면 숫자도 바뀐다. class 사이의 분리와 비교한 내부 변동을 보는 이유가 여기에 있다. norm 정규화와 상대 지표를 어떻게 정의했는지 기록하지 않으면 서로 다른 실험의 collapse 정도를 비교하기 어렵다.

이런 진단은 논문을 서비스에 적용하라는 처방보다, 마지막 층이 무엇을 하고 있는지 보는 연구 도구에 가깝다. 학습 손실이 줄었다는 결과를 공간의 변화로 바꿔 질문할 수 있게 만든다.

## 대칭이 관찰되었다고 모든 문제의 정답은 아니다

원문은 여러 이미지 분류 데이터와 아키텍처에서 현상을 관찰한다. class-balanced 설정이 중요한 배경이며, 그 실험에서 얻은 규칙성을 모든 불균형 분류, multi-label, 회귀, 언어 모델에 그대로 옮길 수는 없다. class 수와 feature 차원, 학습 목표가 달라지면 가능한 기하도 달라진다. [실험 조건](https://pmc.ncbi.nlm.nih.gov/articles/PMC7547234/)

또 주된 NC 관찰은 학습 feature에 관한 것이다. 학습 데이터에서 class가 깔끔하게 모였다는 사실이 새로운 모든 표본도 같은 점에 모인다는 보증은 아니다. 저자들은 일반화와 robustness의 관계도 논의하지만, collapse가 강하면 어느 데이터 분포에서든 성능과 안전성이 좋아진다는 결론은 나오지 않는다.

fine-tuning이나 retrieval에서는 또 다른 질문이 생긴다. 현재 라벨을 잘 구분하는 데 필요 없는 정보가 마지막 feature에서 약해졌다면, 그 공간이 다른 과제의 구분에는 충분하지 않을 수 있다. 예컨대 동물 종을 분류하는 마지막 표현이 같은 종 내부의 세부 속성을 잘 보존할지는 따로 확인해야 한다. 이는 논문 결과에서 출발한 내 해석이며, 원문이 모든 transfer 성능을 입증한 것은 아니다.

실무에서는 정확도만 보고 embedding을 재사용하기보다 어떤 층의 어떤 표현을 쓰는지 검토할 이유가 있다. 마지막 층이 현재 과제에 특화되어 단순한 기하를 갖는다면, 더 앞선 층이나 다른 학습 목표가 필요한 정보를 더 잘 남길 수도 있다. 선택은 실제 downstream 평가로 확인해야 한다.

Neural Collapse가 보여 준 것은 복잡한 신경망 안에서도 관찰 가능한 규칙성이 생길 수 있다는 사실이다. 학습이 끝난 것처럼 보이는 뒤에도 공간은 계속 정돈된다. 마지막 classifier를 점수 계산 장치로만 보다가, class 중심과 방향을 가진 기하로 읽게 된다는 점이 이 논문의 오래 남는 재미다.

논문: Vardan Papyan, X. Y. Han, David L. Donoho, *Prevalence of Neural Collapse during the terminal phase of deep learning training*, 2020. [원문](https://arxiv.org/abs/2008.08186) · [PNAS 출판본](https://doi.org/10.1073/pnas.2015509117)