Class-level Unlearning ① | 하나를 지웠는데 왜 이웃까지 잊을까 — Retain–Forget Entanglement 리뷰

관상어 사진을 잊히는 업데이트 때문에, 상어와 송어 사진까지 물고기로 분류하지 못하게 된다면 어떨까. 삭제할 대상만 골랐는데 왜 이웃이 다치는 걸까. 모델 안에서 ‘관상어를 알아보는 지식’과 ‘다른 물고기를 알아보는 지식’이 서로 독립된 파일로 보관되지 않기 때문이다. 표현과 판단 기준을 공유한다면 한쪽을 지우는 업데이트가 다른 쪽도 건드릴 수 있다.

Jingpu Cheng, Ping Liu, Qianxiao Li, Chi Zhang의 ICLR 2026 논문 Machine Unlearning under Retain–Forget Entanglement는 이 문제를 정면으로 다룬다. 여기서는 2026년 3월 27일 공개된 arXiv v1을 읽었다. 흥미로운 점은 단순히 삭제 성능을 높였다는 데 있지 않다. ‘남겨둔 데이터의 평균 성능’이라는 익숙한 성적표가 누구의 피해를 숨기는지 묻고, 평균 손실을 유지하는 최적화조차 망각을 되돌릴 수 있다는 반례를 보여준다. 논문 및 버전 정보

1. 이 논문이 말하는 망각의 목표

먼저 이 논문에서 ‘잊는다’가 무엇인지 선을 그어야 한다. 머신 언러닝에는 삭제 데이터를 처음부터 보지 않고 재학습한 모델과 구별하기 어려운 결과를 만드는 목표가 있다. 하지만 이 논문은 삭제 대상으로 지정한 데이터에 대한 예측 성능을 적극적으로 낮추는 방향을 채택한다. 둘은 같지 않다. 관상어 사진 없이 다른 물고기로 공부한 모델도 관상어가 물고기라는 사실을 추론할 수 있다. 그 정답까지 막는 행동 변화는 특정 훈련 기록의 영향만 제거하는 요구보다 강하거나 다른 요구가 될 수 있다. 따라서 아래의 낮은 삭제 정확도를 곧바로 개인정보 삭제 보증으로 읽으면 안 된다. 이 구분은 저자들이 3절에서 명시한다. 원문 3절

2. 같은 fish 안에서 일부만 지우는 문제

실험을 이해하는 가장 중요한 디테일도 여기 있다. CIFAR-100을 쓴다고 해서 100개 세부 종류를 맞히는 분류기가 아니다. 모델은 100개 세부 클래스를 묶은 20개 상위 클래스를 맞힌다. 삭제 대상은 fish 상위 클래스 안의 aquarium fish 하나다. 같은 fish에 속한 나머지 네 세부 클래스가 ‘인접 보존 집합’, 다른 95개 세부 클래스가 ‘원거리 보존 집합’이다. 즉 정답이 똑같이 fish였던 사진들 중 일부는 틀리도록 바꾸고, 가까운 나머지는 계속 맞혀야 한다.

전체 보존 정확도만 보면 이 문제가 희미해진다. 인접한 네 세부 클래스에서 성능이 크게 떨어져도, 훨씬 많은 원거리 클래스가 잘 유지되면 평균이 피해를 희석한다. 그래서 저자들은 데이터를 D_f, D_adj, D_rem으로 나누고 세 집합의 성능을 각각 보고한다. 이 평가 단위를 바꾼 선택이 방법론만큼 중요하다. 삭제할 샘플을 아는 것과, 삭제 때문에 함께 다칠 샘플을 아는 것은 별개의 문제다.

3. 먼저 지우고, 그다음 가까운 이웃을 복구한다

방법은 두 단계다. 1단계는 삭제 집합의 손실 L_f를 키우되 원거리 보존 집합의 손실 L_rem은 원래 모델 θ₀의 값과 같도록 제약한다. 수식으로는 min_θ −L_f(θ), subject to L_rem(θ)=L_rem(θ₀)다. 손실이 커진다는 것은 원래 정답에 대한 확신을 낮추는 방향이라는 뜻이다. 이때 인접 보존 집합을 직접 보호하려는 최적화는 잠시 미룬다. 삭제와 인접 보존을 동시에 밀면 강하게 얽힌 업데이트가 충돌할 수 있기 때문이다.

그 제약을 구현하는 도구가 증강 라그랑주 함수다. c(θ)=L_rem(θ)−L_rem(θ₀)라고 쓰면, 목적함수는 −L_f(θ)+λc(θ)+(μ/2)c(θ)²가 된다. λ는 제약 위반에 따라 λ←λ+μc(θ)로 갱신하고, μ>0은 벌점 계수다. 고정된 가중치 하나로 삭제와 보존을 타협하기보다, 실제 위반에 맞춰 압력을 조정하는 방식이다. 다만 ‘하이퍼파라미터가 없다’는 뜻은 아니다. μ와 학습률은 여전히 필요하고, 구현에서는 삭제 손실이 과도하게 커지지 않도록 교차엔트로피를 잘라 쓴다. 원문 4.1절 및 부록 B.1

2단계는 그동안 다친 인접 보존 집합을 복구한다. 문제는 이 사진들을 다시 잘 맞히도록 학습하면 삭제한 관상어까지 다시 맞히게 될 수 있다는 것이다. 우선 생각할 수 있는 해법은 경사 투영이다. 인접 손실을 줄이는 기울기에서, 삭제 손실이나 원거리 보존 손실을 바꾸는 방향 성분을 빼는 것이다. 두 집합의 손실을 가능한 한 유지하면서 인접 집합에 도움이 되는 방향으로 움직인다.

4. 평균 손실이 같아도 망각은 되돌아온다

하지만 논문의 관찰은 여기서 한 번 더 꺾인다. 삭제 집합의 평균 손실을 유지해도 삭제 정확도가 다시 올라갈 수 있다. 어떤 삭제 샘플의 손실은 작아지고, 다른 샘플의 손실이 훨씬 커져 평균을 맞출 수 있어서다. 간단한 수치 예로 삭제 샘플 두 개의 손실이 (4, 4)에서 (0.1, 7.9)로 바뀌어도 평균은 4다. 하지만 교차엔트로피 0.1은 정답 확률 약 90.5%에 해당한다. 첫 샘플은 이미 정답으로 돌아왔다. 이 숫자는 논문 실험값이 아니라 평균의 맹점을 설명하기 위한 예시다. Figure 1은 일반적인 투영 업데이트에서 이런 손실 분포의 양극화가 생기는 모습을 보여준다.

저자들의 보완책은 1단계가 끝난 모델 θ̄의 삭제 손실 분포를 기준으로 잡는 것이다. 현재 삭제 손실 분포와 그 기준 분포 사이의 Wasserstein-2 거리, 정확히는 W₂²를 넣는다. 여기서 비교하는 것은 모델 파라미터 분포나 이미지 특징 분포가 아니라 샘플별 교차엔트로피 손실이라는 1차원 숫자들의 분포다. 두 손실 목록을 작은 값부터 정렬하고 같은 순위끼리 차이를 제곱해 평균하면 W₂²가 된다. 고차원 최적수송 문제를 새로 푸는 구조가 아니다.

수정된 삭제 목적과 실제 업데이트를 정리하면 다음과 같다. θ̄는 1단계 종료 모델이며, 원래 모델 θ₀와 구별해야 한다.

L̃_f(θ) = (1−α)L_f(θ) + αW₂²(P_θ̄, P_θ)
V = span{∇L̃_f, ∇L_rem}
θ ← θ − η[∇L_adj − Proj_V(∇L_adj)]

P_θ̄와 P_θ는 각각 기준 모델과 현재 모델의 삭제 손실 분포다. 논문은 이 단계를 W-PGD라고 부른다. W₂ 벌점을 인접 손실에 그냥 더해 최소화하는 방식으로 설명하면 정확하지 않다. 수정된 삭제 목적의 기울기가 보존할 방향 공간을 정의하고, 인접 집합을 복구하는 업데이트를 그 공간에 직교하도록 만든다. 기본 실험의 α는 0.5다. 원문 식 5~10

5. 정리가 보장하는 것과 보장하지 않는 것

이론의 보장 범위도 좁혀 읽을 필요가 있다. Proposition 4.1은 매끄러움과 충분히 작은 학습률을 가정할 때, 한 번의 업데이트에서 수정된 삭제 손실과 원거리 손실의 변화가 O(η²)라고 말한다. 모든 샘플의 예측이 영원히 고정된다는 보장은 아니다. Proposition 4.2의 삭제 정확도 상한에는 더 강한 전제가 필요하다. α>0이고, 1단계 후 모든 삭제 샘플의 손실이 m>log n 이상이며, 수정된 목적의 변화가 ε보다 작아야 한다. 그 조건에서 삭제 정확도의 상한을 얻는다. n은 분류 클래스 수다. 핵심은 평균 손실만 높아서는 충분하지 않다는 점이다. 훈련 삭제 정확도 0%만 보고 이 전제까지 자동 충족했다고 판단할 수는 없다.

6. 실험 표를 읽는 법: 삭제율보다 이웃의 피해

수치를 보자. 아래는 Table 1의 CIFAR-100·ResNet-18 테스트 정확도다. 단위는 %, ±는 보고된 표준편차다. 삭제 열은 낮을수록, 두 보존 열은 높을수록 논문이 원하는 결과다. 이 모델은 ImageNet 사전학습 가중치에서 상위 클래스 분류를 학습했다.

DELETE는 삭제 정확도를 더 낮췄고 원거리 보존도 조금 높다. 그러나 인접 보존은 2.83%로 무너졌다. 제안 방법의 강점은 이때 78.17%를 지킨다는 데 있다. 반대로 원본 대비 원거리 정확도는 85.33%에서 81.10%로 떨어진다. 그래서 ‘아무 손실 없이 완벽히 삭제’보다 ‘어디를 얼마나 희생하는지가 다른 해법’이라는 해석이 맞다. 훈련 삭제 정확도 0.00%와 테스트 삭제 정확도 2.33%도 구별해야 한다. 원문 Table 1

7. ToxiGen은 잘못 학습한 분류 경향의 교정이다

언어 실험은 더 조심해서 읽어야 한다. ToxiGen에 RoBERTa-base를 붙인 독성/비독성 이진 분류이지, 챗봇의 유해 문장 생성률을 측정한 실험이 아니다. 연구진은 LGBTQ를 언급하는 문장을 모두 normal로 라벨링하는 편향된 학습을 먼저 만든다. 실제로는 독성인데 normal로 잘못 붙인 문장이 삭제 집합, 같은 집단을 언급하지만 실제로 비독성인 문장이 인접 보존 집합이다. 같은 집단 이름 때문에 비독성 문장까지 독성으로 몰아가지는 않으면서 잘못된 학습을 수정해야 한다.

따라서 Table 2의 삭제 정확도는 잘못된 normal 라벨에 대한 일치율이다. 낮아지는 것이 교정이며, 일반적인 독성 탐지 정확도와 방향이 반대다. 제안 방법의 테스트 삭제/인접/원거리 값은 14.29±0.06 / 85.86±0.00 / 85.23±0.01이다. SalUn은 12.42±0.07 / 57.59±0.25 / 81.06±0.13이다. SalUn이 테스트 삭제 수치 자체는 더 낮지만, 제안 방법은 비독성 인접 문장을 훨씬 잘 보존한다. 원본의 인접 정확도 95.48%와 비교하면 제안 방법에도 피해가 남는다. ‘LGBTQ 관련 정보를 지웠다’가 아니라, 인위적으로 심은 잘못된 분류 경향을 선택적으로 수정한 실험으로 읽어야 한다. 원문 5.3절과 Table 2

8. W₂의 효과에도 대가가 있다

W₂가 실제로 하는 일은 제거 실험에서 확인된다. Table 5에서 W₂를 뺀 모델은 테스트 삭제 정확도 14.33±0.94%, 인접 보존 87.00±0.00%다. W₂를 넣으면 각각 2.33±0.47%, 78.17±0.31%다. 분포 제약이 삭제 대상의 재학습을 억제한다는 설명과 맞지만, 인접 성능까지 공짜로 좋아진 것은 아니다. 평균 손실만 지키는 경우보다 더 확실히 잊히는 대신 복구 가능한 범위가 좁아진다. 이 표야말로 방법의 기여와 대가를 동시에 드러낸다. 원문 Table 5

9. 인접 집합, 계산 비용, 개인정보 삭제의 한계

실용화의 질문도 남는다. 먼저 인접 집합을 어떻게 찾을 것인가. 저자들은 상위 클래스 대신 특징 공간에서 삭제 샘플마다 k=20 최근접 이웃을 찾고, 자주 선택된 보존 샘플 상위 10%를 인접 집합으로 삼는 실험도 했다. 이때 CIFAR-100 테스트 삭제 정확도는 6.00±0.82%였다. 분할을 완벽히 알 필요는 없다는 유용한 단서지만, 임의의 현실 데이터에서도 위험한 이웃을 찾아낸다는 증명은 아니다. 방법은 학습 과정에서 삭제·인접·원거리 데이터 모두에 접근해야 한다. 순차적으로 많은 삭제 요청을 처리할 때의 누적 영향도 여기서 입증되지는 않는다.

두 번째는 비용이다. RTX 3090에서 보고된 실행시간은 제안 방법 14.2분, 재학습 70.1분이다. FT는 12.4분, SSD는 2.5분이므로 언러닝 방법 중 가장 빠르다는 결과는 아니다. 배치 크기 128의 메모리 비교에서는 제안 방법이 3,297MB, FT가 2,949MB였다. 또한 실험은 저자들이 보고한 소수 시드 결과이고, 이 글에서 코드를 실행해 재현한 것은 아니다. 언어 결과를 대규모 생성 모델 전체로 확대할 근거도 아직 부족하다. 원문 부록 B.3·B.7

마지막으로 ‘재학습보다 잘 잊었으니 삭제도 더 확실하다’는 결론은 경계해야 한다. Table 15의 CIFAR-100에서 재학습의 테스트 삭제 정확도는 37.00±5.10%로 제안 방법보다 높다. 다른 물고기에서 얻은 지식으로 관상어를 맞힐 수 있으므로, 그 차이가 곧 훈련 기록의 잔존 증거는 아니다. 더구나 ToxiGen에서는 재학습의 테스트 삭제/인접/원거리 값이 12.13±4.34 / 91.74±2.45 / 89.35±2.73으로, 세 방향 모두 제안 방법보다 평균 수치가 좋다. ‘모든 경우 재학습을 능가한다’는 문장은 표와 맞지 않는다.

부록의 membership inference attack(MIA, 학습 데이터 포함 여부를 추론하는 공격) 결과 0.99도 뜻을 좁혀야 한다. 이 값은 사용한 confidence 기반 공격기가 삭제 샘플을 비회원으로 판단한 비율이다. 모든 공격에서 안전할 확률 99%나, 삭제 데이터가 모델에서 99% 제거됐다는 뜻이 아니다. 손실 분포의 모양을 유지하는 것 역시 샘플별 정보의 제거를 보장하지 않는다. 정렬한 숫자 분포는 어떤 샘플이 그 숫자를 가졌는지까지 구별하지 않기 때문이다. 원문 부록 B.4·B.7

10. 이 논문을 읽고 남는 기준

이 논문에서 가장 오래 남는 질문은 성능표의 평균 아래에 누가 숨어 있는가다. 모델을 고쳤는데 전체 정확도는 멀쩡하고, 삭제 대상과 닮은 특정 집단만 제대로 처리하지 못할 수 있다. 저자들은 그 집단을 따로 재고, 평균 손실보다 세밀한 분포 제약으로 복구와 망각의 충돌을 다룬다. 충분히 의미 있는 진전이다. 다만 우리가 원하는 것이 특정 행동의 억제인지, 잘못된 라벨의 교정인지, 훈련 데이터의 영향 제거인지 먼저 정해야 이 성과를 올바른 자리에 놓을 수 있다.

원문: arXiv v1·PDF / 저자 공개 코드. 연구 결과와 수치는 저자 보고이며, 비교에 대한 평가는 이 글의 해석이다.