VICReg: Variance-Invariance-Covariance Regularization - 비대칭 구조와 음성 표본 없이 딥러닝 모델의 정보 붕괴를 막는 통계적 접근법

일러두기 (Disclaimer)

본 글은 AI의 도움을 받아 작성되었습니다. 최대한 정확한 정보를 전달하기 위해 검수를 거쳤으나, AI 모델의 특성상 내용에 일부 오류나 부정확한 정보가 포함될 수 있습니다. 따라서 실제 논문의 상세한 수식이나 실험 세부 조건 등은 반드시 원문을 직접 확인하시기 바랍니다.

 

 

논문 링크 : https://arxiv.org/abs/2105.04906

VICReg: Variance-Invariance-Covariance Regularization for Self-Supervised Learning

 

 

초록 (Abstract)

이미지 표현 학습(Image representation learning)을 위한 최근의 자기지도 학습(Self-supervised learning) 방법론들은 동일한 이미지의 서로 다른 변형 뷰(views)를 입력받은 인코더가 생성한 임베딩 벡터 간의 일치도를 극대화하는 방식을 취합니다. 이 과정에서 발생하는 가장 큰 과제는 인코더가 상수나 정보가 없는 벡터를 생성하는 '붕괴(collapse)' 현상을 방지하는 것입니다. 본 연구진은 VICReg (Variance-Invariance-Covariance Regularization)를 제안합니다. 이 방법은 두 임베딩 각각에 별도로 적용되는 두 가지 규제 항을 통해 붕괴 문제를 명시적으로 방지합니다: (1) 각 임베딩 차원의 분산(variance)을 임계값 이상으로 유지하는 항, (2) 각 변수 쌍의 상관관계를 제거(decorrelate)하는 공분산(covariance) 항입니다. 동일한 문제를 해결하려는 대부분의 다른 접근법과 달리, VICReg는 브랜치 간의 가중치 공유(weight sharing), 배치 정규화(batch normalization), 특성 단위 정규화(feature-wise normalization), 출력 양자화(output quantization), 그래디언트 정지(stop gradient), 메모리 뱅크(memory banks) 등의 기법을 필요로 하지 않으며, 여러 다운스트림(downstream) 작업에서 최고 수준(state-of-the-art)의 성능과 대등한 결과를 달성합니다. 또한, 제안된 분산 규제 항이 다른 방법론들의 학습을 안정화하고 성능 향상을 이끌어낼 수 있음을 보여줍니다.

 

1. 한줄 요약 & 3줄 핵심 (Executive Summary)

복잡한 비대칭 신경망 구조나 대규모 음성 표본(Negative samples)에 의존하지 않고, 임베딩 벡터의 '분산'과 '공분산'을 직접 통제하는 명시적이고 수학적인 손실 함수를 도입하여 자기지도 학습 모델의 정보 붕괴 현상을 방지한 연구입니다.

1. 기존의 문제점 (Pain point): 정답 레이블 없이 데이터를 학습할 때 모델이 모든 입력에 대해 동일한 상숫값을 출력해 버리는 '붕괴' 현상을 막기 위해, 기존에는 과도한 메모리를 요구하는 대조 학습을 사용하거나, 이론적 근거가 명확하지 않은 비대칭 네트워크 구조(가중치 공유, 그래디언트 정지 등)를 사용해야 했습니다.
2. 이 논문의 해결책 (Solution): 모델이 출력하는 벡터들이 서로 같아지도록 유도(Invariance)하는 동시에, 벡터 값들이 한 점으로 뭉치지 않도록 분산(Variance)을 강제하고, 벡터의 각 차원이 서로 독립적이고 유용한 정보를 담도록 공분산(Covariance)을 0으로 만드는 세 가지 직관적인 손실 함수를 설계했습니다.
3. 달성한 성과 (Key Result): ImageNet 분류 및 전이 학습에서 기존 최고 수준의 모델들과 대등한 성능을 달성했으며, 네트워크의 두 갈래(브랜치)가 구조와 가중치를 공유할 필요가 없다는 특성 덕분에 다중 양상(Multi-modal) 데이터 처리 환경에서 타 방법론을 압도하는 범용성을 입증했습니다.

 

2. 들어가며: 왜 이 연구가 필요했나? (The "Why")

인공지능 모델이 시각적 세상을 이해하도록 학습시키는 과정은 오랜 기간 동안 '지도 학습(Supervised Learning)'에 의존해 왔습니다. 지도 학습은 수백만 장의 이미지에 사람이 일일이 "이것은 고양이", "이것은 강아지"라고 정답(Label)을 달아주는 방식입니다. 그러나 인터넷과 현실 세계에 존재하는 무한한 데이터를 모두 사람이 수동으로 라벨링하는 것은 불가능에 가깝습니다. 데이터 구축에 드는 천문학적인 비용과 시간을 극복하기 위해, 컴퓨터 비전 분야의 연구자들은 정답 없이 데이터 자체의 내재된 패턴과 구조를 스스로 학습하는 '자기지도 학습(Self-Supervised Learning, SSL)'으로 눈을 돌리게 되었습니다.

 

최근 시각 인공지능 분야를 주도하고 있는 자기지도 학습의 핵심 패러다임은 '조인트 임베딩 구조(Joint Embedding Architecture)'입니다. 이 방식은 비교적 단순한 철학에 기반을 두고 있습니다. 하나의 원본 이미지를 복사한 뒤, 첫 번째 복사본은 흑백으로 만들고 이미지를 잘라내며, 두 번째 복사본은 색상을 강하게 왜곡하고 흐리게 만듭니다. 이렇게 의미론적으로는 동일하지만 시각적으로는 서로 다르게 변형된 두 이미지를 신경망 모델(인코더)에 통과시킵니다. 그리고 모델에게 "비록 시각적인 형태는 다르게 보일지라도, 이 둘은 동일한 원본 이미지에서 파생되었으니 두 출력값(벡터)이 서로 같아지도록 만들라"고 지시합니다. 이 과정을 반복하면 모델은 이미지의 색상, 조명, 구도와 같은 지엽적인 정보에 휘둘리지 않고 '고양이의 형태적 특징'이라는 본질적이고 추상적인 표현(Representation)을 학습하게 됩니다.

 

하지만 이 혁신적인 접근법에는 '정보 붕괴(Representation Collapse)'라는 치명적인 단점이 존재합니다. 모델에게 단지 두 개의 출력값을 같게 만들라고만 지시하는 경우, 신경망은 이미지를 분석하여 특징을 추출하는 어렵고 복잡한 최적화 경로를 택하는 대신, 일종의 '지름길(Shortcut)'을 선택합니다. 입력으로 고양이가 들어오든 자동차가 들어오든 관계없이 모든 입력 이미지에 대해 [0, 0, 0,..., 0] 또는 특정한 단일 상수 벡터를 똑같이 출력해 버리는 것입니다. 이렇게 되면 두 출력값 사이의 차이는 0이 되므로 손실 함수의 목표는 완벽히 달성되지만, 모델은 이미지에 대한 그 어떠한 유의미한 정보도 학습하지 못하게 됩니다.

 

이러한 정보 붕괴 현상을 방지하기 위해 학계에서는 다양한 우회 기법들을 고안해 냈으며, 이는 크게 세 가지 부류로 나눌 수 있습니다.

 

첫 번째는 대조 학습(Contrastive Learning) 방법론입니다. 대표적으로 SimCLR, MoCo 등이 있습니다. 이 방법은 "같은 원본 이미지에서 나온 두 변형본(Positive samples)은 가깝게 만들되, 현재 배치(Batch) 내에 있는 다른 모든 이미지들(Negative samples)에서 나온 벡터들과는 서로 멀어지게 밀어내라"고 지시합니다. 서로 다른 이미지들의 벡터를 강제로 밀어내기 때문에 모든 출력이 한 점으로 모이는 붕괴 현상은 자연스럽게 방지됩니다. 그러나 이 방식은 모델이 유의미한 구분을 학습하기 위해 한 번에 수천, 수만 개의 음성 표본(Negative samples)을 비교해야 합니다. SimCLR의 경우 배치 크기를 수천 단위로 키워야만 성능이 유지되며, 이는 막대한 GPU 메모리와 연산 자원을 요구한다는 현실적인 장벽을 형성합니다.

 

두 번째는 비대칭 신경망(Asymmetric Networks) 방법론입니다. BYOL, SimSiam이 이 부류에 속합니다. 이들은 음성 표본 없이 붕괴를 막기 위해 아키텍처 자체를 기형적으로 설계했습니다. 모델을 두 개의 쌍둥이 네트워크(학생과 교사)로 구성하되, 한쪽 브랜치(교사 네트워크)로 역전파(Backpropagation)가 흐르지 않도록 그래디언트 정지(Stop-gradient) 연산을 걸거나, 교사의 가중치를 학생의 과거 가중치들의 이동 평균(Momentum average)으로 천천히 업데이트되도록 만듭니다. 이 방법은 네거티브 샘플 없이도 놀랍도록 높은 성능을 내며 정보 붕괴를 막아냈으나, 모델 설계가 지나치게 복잡해지며 이러한 구조가 수학적으로 왜 붕괴를 막는지에 대한 명확한 이론적 근거가 부족하다는 비판을 받았습니다.

 

세 번째는 정보 극대화(Information Maximization) 방법론입니다. Barlow Twins, W-MSE 등이 있습니다. 이들은 벡터의 차원 간 상관관계를 조작하여 중복된 정보를 줄이는 방식을 택했습니다. 이 방식은 이론적으로 탄탄하지만, 학습 과정에서 반드시 임베딩 벡터를 통계적으로 정규화(Standardization 또는 Feature-wise normalization)하는 까다로운 과정을 거쳐야만 모델이 붕괴하지 않는다는 한계가 있었습니다.

 

연구자들은 이러한 기존 방법론들의 한계점을 마주하며 근본적인 질문을 던지게 되었습니다. "대규모 메모리를 요구하는 음성 표본 비교, 수학적 기반이 부족한 비대칭 아키텍처 설계, 혹은 강제적인 데이터 정규화 과정 없이, 오직 출력 벡터들의 통계적 특성을 조작하는 명시적인 손실 함수(Loss function)만으로 정보 붕괴를 우아하게 통제할 수는 없을까?" 이러한 배경 속에서 두 네트워크 브랜치가 완전히 독립적으로 작동하면서도 붕괴를 막을 수 있는 세 가지 명시적 규제 항목을 결합한 VICReg가 탄생하게 되었습니다.

 

3. 이 논문의 뿌리 (Key Reference)

VICReg는 자기지도 학습 생태계를 선도했던 핵심 논문들의 철학을 비판적으로 수용하고 그 한계를 극복하는 과정에서 구체화되었습니다. VICReg의 탄생에 가장 큰 영감을 주었거나 반면교사가 된 핵심 연구들을 살펴보며 그 관계성을 짚어보겠습니다.

• Barlow Twins (2021): VICReg와 가장 직접적인 관계를 맺고 있는 선행 논문입니다. Barlow Twins는 두 출력 벡터 간의 '교차 상관 행렬(Cross-correlation matrix)'을 계산하여, 행렬의 대각선 성분은 1에 가깝게 만들고 나머지 비대각선 성분은 0으로 만들어 벡터 내 차원 간의 정보 중복(Redundancy)을 최소화하는 혁신적인 접근법을 제시했습니다. VICReg 연구진은 이 논문에서 '차원 간의 상관관계를 줄인다(Decorrelation)'는 핵심 원리를 적극 차용했습니다. 그러나 치명적인 차이점이 존재합니다. Barlow Twins는 두 브랜치의 통계적 분포가 비슷해야 하며, 반드시 배치 단위의 정규화(Batch-wise standardization) 과정을 거쳐야만 작동합니다. 정규화가 생략되면 임베딩 벡터의 크기가 0으로 수축하며 모델이 붕괴해 버립니다. VICReg는 이 정규화 과정을 제거하고 '공분산(Covariance)'을 직접 통제하는 동시에 '분산(Variance)' 유지 항을 새롭게 추가함으로써 이 한계를 완벽히 보완했습니다.
• BYOL (Bootstrap Your Own Latent, 2020) & SimSiam (2020): 대조 학습의 필수 요소로 여겨졌던 대규모 음성 표본(Negative samples) 없이도 높은 성능을 낼 수 있음을 입증한 연구들입니다. 하지만 이들은 정보 붕괴를 막기 위해 한쪽 신경망의 학습을 차단하는 '그래디언트 정지(Stop-gradient)'와 느리게 업데이트되는 '모멘텀 인코더(Momentum encoder)'라는 Architectural trick에 전적으로 의존했습니다. VICReg는 "음성 표본 없는 학습"이라는 이들의 목표를 계승하되, 기형적인 아키텍처를 버리고 이를 투명한 수학적 손실 함수로 대체하고자 했습니다. 실제로 논문의 저자들은 BYOL과 SimSiam 모델에 VICReg의 '분산(Variance) 규제' 항을 추가하는 실험을 진행했고, 그 결과 기존 모델들의 학습 안정성이 높아지고 성능이 부가적으로 향상됨을 증명하며 자신들의 가설이 옳았음을 입증했습니다.
• SimCLR (2020): 현존하는 가장 표준적인 대조 학습(Contrastive Learning) 베이스라인 모델입니다. SimCLR은 배치 내에 있는 수많은 '다른 이미지'들을 음성 표본으로 삼아 이들 간의 거리를 공간상에서 강제로 밀어내는 방식(InfoNCE loss)을 사용합니다. 이 밀어내기 과정 덕분에 벡터들이 한곳에 뭉치지 않게 됩니다. VICReg는 SimCLR처럼 개별적인 다른 이미지 벡터들을 하나하나 비교하며 밀어내는 고비용 연산을 수행하는 대신, 배치 전체를 아우르는 통계량인 '분산(Variance)'을 넓히는 방식으로 간접적인 상호 배척 효과를 유도합니다. 이를 통해 SimCLR의 치명적 단점인 대규모 배치 사이즈 요구사항을 극복하고, 메모리 자원의 한계에서 모델을 해방시켰습니다.

 

4. 핵심 아이디어: 무엇이 다른가? (The "Aha!" Moment)

VICReg의 가장 결정적인 발상의 전환은 "신경망의 구조를 조작하거나 입력 데이터에 음성 표본을 추가하는 대신, 출력된 결과물(벡터) 자체의 통계적 특성을 손실 함수 차원에서 직접 조작하자"는 것입니다. 복잡한 수식을 배제하고 이 원리를 직관적으로 이해하기 위해 하나의 비유(Analogy)를 들어보겠습니다.

 

교사(신경망의 손실 함수)가 두 명의 학생(두 개의 네트워크 브랜치)에게 똑같은 소설책을 읽히고 독후감을 쓰게 했습니다. 교사의 궁극적인 목표는 두 학생이 책의 핵심적인 문맥을 동일하게 이해하는 것입니다.

• 이전 방식의 실패 (정보 붕괴): 교사가 단지 "너희 둘의 독후감 내용이 무조건 똑같아야만 한다"라고 지시합니다. 학생들은 책을 깊이 있게 읽고 분석하는 힘든 과정을 거치는 대신 서로 입을 맞추는 꼼수를 씁니다. 두 학생 모두 백지에 "재미있었다"라는 짧고 의미 없는 단 한 문장만 적어 냅니다. 둘의 내용이 완벽히 똑같으므로 교사의 지시를 따랐지만, 책에 대한 어떠한 유용한 정보도 담겨 있지 않습니다. 이것이 딥러닝에서 발생하는 정보 붕괴(Representation Collapse)입니다.
• VICReg의 발상 전환: 교사는 학생들이 꼼수를 쓰지 못하도록 세 가지 엄격한 채점 기준을 동시에 제시합니다.
  1. Invariance (불변성): 두 학생의 독후감이 지닌 핵심 의미는 반드시 같아야 한다. (다르게 변형된 이미지라도 동일한 벡터를 출력하여 본질적 특징을 학습할 것).
  2. Variance (분산): 짧은 단답형으로 적어 내지 말고, 다양한 어휘와 길고 다채로운 문장을 사용하여 풍부하게 글을 전개해야 한다. 글의 길이가 너무 짧거나 내용의 폭이 좁으면 감점이다. (배치 내 벡터의 값들이 한 곳의 상숫값으로 수렴하지 않고 일정 수준 이상으로 넓게 퍼진 통계적 분산을 가질 것).
  3. Covariance (공분산): 글을 풍성하게 쓰라고 했더니 "사과는 붉다. 붉은 것은 사과다"처럼 동일한 의미의 문장만 형태를 바꾸어 반복해서는 안 된다. 첫 번째 단락이 '사과의 색상'을 다루면, 두 번째 단락은 '사과의 맛', 세 번째 단락은 '사과의 식감' 등 각 단락이 완전히 독립적이고 중복되지 않는 새로운 정보를 다루어야 한다. (벡터 내의 각 차원들이 서로 겹치는 정보를 가지지 않도록 차원 간의 상관관계를 0으로 깎아낼 것).

이 세 가지 직관적이고 독립적인 채점 기준이 바로 VICReg의 이름인 Variance, Invariance, Covariance Regularization의 정체입니다.

 

기존의 모델들은 붕괴를 막기 위해 교사 학생 간에 보이지 않는 벽을 치거나(BYOL의 그래디언트 정지), 수만 권의 다른 책들(SimCLR의 음성 표본)과 비교해야만 했습니다. 하지만 VICReg는 위 개념도처럼 좌측 브랜치와 우측 브랜치를 완전히 독립적으로 두면서도, 임베딩 Z와 Z'에서 도출되는 통계량(분산과 공분산)만을 계산하여 이를 페널티로 부과하는 발상의 전환을 이루어냈습니다. 이로 인해 두 브랜치가 서로 가중치를 공유할 필요조차 사라지게 된 것입니다.

 

5. 작동 원리: 어떻게 돌아가는가? (The "How")

이제 데이터가 입력되어 신경망을 통과하고 최종적으로 손실 값이 계산될 때까지의 물리적 흐름(Flow)을 단계별로 추적해 보겠습니다. 복잡한 수식 증명을 배제하고, 데이터 배열이 형태를 바꾸어 나가는 과정 자체에 집중합니다.

 

Step 1. 데이터 증강 (Data Augmentation)

학습이 시작되면 데이터셋에서 무작위로 하나의 이미지 표본이 추출됩니다. 이 원본 이미지는 확률적 데이터 증강 파이프라인을 거쳐 두 개의 서로 다른 변형 뷰(View)인 $x$와 $x'$로 변환됩니다. 구체적으로는 이미지의 특정 부분을 잘라내어 크기를 조절하는 무작위 자르기(Random Crop), 이미지의 밝기, 대비, 채도, 색상을 임의로 바꾸는 색상 왜곡(Color Jittering), 형태를 흐리게 만드는 가우시안 블러(Gaussian Blur), 그리고 무작위 흑백 처리 등이 순차적으로 적용됩니다. 컴퓨터의 시각에서는 픽셀 값이 완전히 달라진 두 장의 개별적인 사진이 되지만, 내재된 의미론적 가치는 동일하게 유지됩니다.

 

Step 2. 인코더 (Encoder) 데이터 투영

변환된 두 이미지 $x$와 $x'$는 각각 인코더 신경망($f_\theta$ 및 $f_{\theta'}$)을 통과합니다. 일반적으로 컴퓨터 비전 분야에서 널리 쓰이는 ResNet-50 구조를 백본(Backbone) 신경망으로 사용합니다. 수십만 개의 픽셀로 이루어진 2D 이미지가 인코더의 겹겹이 쌓인 합성곱(Convolution) 계층을 통과하며 점차 공간 정보를 압축합니다. 최종적으로 이 이미지는 2048개의 실수로 이루어진 1차원 벡터로 압축되며, 이를 표현(Representation, $Y$)이라고 명명합니다. 이 $Y$ 벡터야말로 사전 학습이 모두 종료된 후 실무에서 이미지 분류, 객체 탐지 등의 다운스트림(Downstream) 작업에 투입될 핵심적인 '인공지능의 지식'입니다.

 

Step 3. 확장기 (Expander) 차원 증폭

하지만 $Y$ 벡터가 곧바로 손실 함수와 만나지는 않습니다. 표현 벡터 $Y$와 $Y'$는 추가적인 인공신경망 모듈인 확장기($h_\phi$ 및 $h_{\phi'}$)를 통과해야 합니다. 확장기는 주로 3개의 선형 계층(Linear layers)과 배치 정규화(Batch Normalization), ReLU 활성화 함수로 구성되어 있습니다. 이 모듈의 가장 중요한 역할은 2048차원의 벡터를 8192차원이라는 방대한 고차원 공간으로 크게 부풀리는 것입니다. (저자들의 실험에 따르면 확장기 차원을 8192에서 16384로 늘려도 성능 향상은 0.2%에 불과하여, 8192차원이 성능과 연산량의 최적 타협점으로 채택되었습니다.) 이 결과물을 임베딩(Embedding, $Z$)이라고 부릅니다.

• 비유적 설명: 왜 굳이 벡터의 길이를 4배나 늘려야 할까요? 다음 단계에서 차원 간의 정보 중복을 없애는 '공분산 규제'를 적용해야 하기 때문입니다. 비좁은 방에 수천 개의 물건이 뒤섞여 있으면 이를 정리하고 분류하기가 매우 어렵습니다. 하지만 아주 거대한 창고(고차원 공간)로 물건들을 옮기면 얽힌 실타래를 풀고 각 물건을 상호 독립적인 위치에 널찍하게 배치하는 것이 훨씬 수월해집니다.

 

Step 4. 손실 함수 (Loss Function) 계산 및 학습 유도

이제 8192차원으로 확장된 배치(Batch) 단위의 임베딩 집합 $Z$와 $Z'$를 이용해 세 가지 통계적 손실 값을 산출합니다.

• $s(Z, Z')$ - Invariance (불변성): 배치 내에 대응하는 각각의 이미지 쌍 벡터 $Z$와 $Z'$ 간의 평균 제곱 오차(Mean Squared Error) 거리를 계산합니다. 이 오차를 줄이는 방향으로 가중치가 업데이트되면서, 모델은 두 변형 이미지가 같은 존재임을 학습합니다.
• $v(Z)$ - Variance (분산): 힌지 손실(Hinge loss) 개념을 사용합니다. 각 차원 축을 기준으로 배치 내 $n$개의 데이터가 얼마나 널리 퍼져 있는지 표준편차(Standard deviation)를 측정합니다. 만약 이 표준편차가 사전에 설정한 목표치 $\gamma$ (논문에서는 1)보다 작을 경우, 그 차이만큼 엄격한 벌점(Penalty)을 부여합니다. 이미 목표치 이상으로 널찍하게 퍼져 있다면 벌점은 0이 됩니다. 이 규제 덕분에 수백 개의 이미지가 단 하나의 숫자로 무너져 내리는 붕괴 현상이 원천 차단됩니다.
• $c(Z)$ - Covariance (공분산): 8,192개의 차원 간 상호 의존성을 끊어내기 위한 장치입니다. 임베딩 벡터들로 공분산 행렬(Covariance matrix)을 만듭니다. 이 행렬의 대각선 성분은 각 차원 자신의 분산이므로 둡니다. 그러나 비대각선 성분, 즉 'i번째 차원과 j번째 차원 간의 상관관계'를 의미하는 값들을 모두 제곱하여 합산한 뒤 이를 0으로 유도하는 벌점을 줍니다. 이로 인해 8192개의 각 차원은 서로 완전히 독립적이고 각기 다른 형태적 특징(예: 귀 모양, 색감, 질감 등)을 분업하여 학습하게 됩니다.

최종적인 손실 값은 이 세 가지 항목에 각기 다른 비중(Weight)을 곱하여 합산($\lambda s + \mu v + \nu c$)한 값이 되며, 오차 역전파(Backpropagation)를 통해 네트워크 가중치가 업데이트됩니다. 사전 학습이 끝나면 부피가 큰 확장기 모듈은 폐기되며, 순수하게 정제된 2048차원의 인코더 표현($Y$)만을 다운스트림 작업에 가져가게 됩니다.

 

6. 작동 원리: 어떻게 학습하는가? (The "How")

자기지도 학습의 가장 큰 매력은 값비싼 정답 레이블(Label)이 구축된 데이터셋에 얽매일 필요가 없다는 점입니다. 데이터 내부의 통계적 패턴을 스스로 찾아내므로 원시 데이터(Raw data) 뭉치만 있으면 충분합니다. VICReg가 학습을 수행하기 위해 섭취하는 데이터의 종류와 특성은 다음과 같습니다.

 

입력 데이터 (Input Data)

• 종류, 포맷 및 수량: 주된 실험은 컴퓨터 비전 분야의 벤치마크인 ImageNet 데이터셋을 기반으로 이루어집니다. 120만 장 이상의 풍부한 2D 이미지 픽셀 데이터 행렬(예: RGB 3채널을 가진 $224 \times 224$ 해상도의 이미지 배열)을 입력으로 사용합니다. 학습 단계에서 "이것이 어떤 사물인지"를 지시하는 텍스트 클래스 정보는 철저히 은닉되며, 모델은 오직 이미지 픽셀의 배치 구조 자체만을 받아들입니다.
• 구체적인 예시:
  • 단일 모달리티 (Single-modal): "넓은 초원 위를 달리는 골든 리트리버"의 사진 한 장이 주어집니다. 이 원본 데이터는 학습 파이프라인에서 무작위 알고리즘을 거쳐 '잔디밭의 초록색이 유독 강조되고 거칠게 잘려나간 리트리버의 하반신' 텐서 1장, '흑백으로 변환되어 흐릿해진 리트리버의 찡그린 얼굴 부분' 텐서 1장으로 분리되어 네트워크의 양쪽 입구에 들어갑니다.
  • 다중 모달리티 (Multi-modal) 환경: VICReg의 구조적 철학이 가장 빛을 발하는 부분입니다. 양쪽 브랜치가 가중치를 공유해야 한다는 제약이 없기 때문에, 입력 포맷이 완전히 달라도 학습이 가능합니다. 환경음 분류 데이터셋인 ESC-50의 경우, 왼쪽 브랜치에는 '시간의 흐름에 따른 1차원의 원시 오디오 파형(Raw audio time-series, 예: 새가 지저귀는 소리)'이 들어가고, 오른쪽 브랜치에는 이를 시각화한 '2차원의 시간-주파수 멜 스펙트로그램(Mel spectrogram) 이미지'가 들어갑니다. 또한 MS-COCO 데이터셋을 활용한 실험에서는 한쪽 브랜치에는 '이미지 픽셀 텐서'가, 다른 한쪽 브랜치에는 그 이미지를 묘사하는 '자연어 텍스트의 단어 임베딩 시퀀스'가 쌍(Pair)으로 구성되어 입력됩니다.

 

출력 데이터 (Output Data)

• 종류 및 포맷: 인코더를 거쳐 생성되는 학습 단계의 출력값은 분류를 위한 확률 분포나 특정 단어가 아닙니다. 입력된 데이터를 다차원의 연속적인 실수 공간(Real coordinate space)에 투영한 부동소수점(Floating-point) 벡터(Vector)입니다.
• 구체적인 예시: 앞서 입력된 강아지 이미지가 ResNet-50 인코더를 모두 통과하면, 모델은 [0.124, -0.451, 0.887,..., 0.034]와 같이 총 2048개의 정밀한 실수들이 나열된 1차원 숫자 배열을 산출합니다. 이 숫자들은 인간의 눈에는 무작위 패턴처럼 보일지 모르나, 모델 내부적으로는 '귀의 뾰족한 각도', '털의 거친 질감', '배경의 기하학적 형태' 등 수많은 추상적 시각 특징들을 밀도 높게 압축해 놓은 결정체입니다.

 

7. 결과: 얼마나 좋아졌나? (Results)

VICReg는 매우 단순한 세 줄의 통계적 규제 수식만을 추가했을 뿐이지만, 복잡한 비대칭 아키텍처나 엄청난 규모의 음성 표본을 자랑하는 기존 방법론들과 대등하거나 이를 뛰어넘는 우수한 성능을 달성했습니다.

 

선형 평가 방식 (Linear Evaluation on ImageNet)

사전 학습을 마친 모델의 표현(Representation) 품질을 평가하는 가장 표준적인 방법론은 인코더의 가중치를 고정(Freeze)한 채, 그 상단에 아주 단순한 형태의 선형 분류기(Linear classifier) 하나만을 추가하여 ImageNet 검증 데이터셋에 대한 분류 정확도를 측정하는 것입니다. 단순 선형 계층만으로 높은 정확도가 나온다는 것은, 인코더가 이미 데이터를 선형적으로 잘 분리될 수 있는 훌륭한 상태로 가공해 두었음을 의미합니다.

자기지도 학습 방법론	비대칭 네트워크 구조 (모멘텀 등)	데이터 정규화 / 음성 표본 필수성	ImageNet Top-1 정확도 (%)
SimCLR	X	O (거대 배치 및 음성표본)	69.3
MoCo v2	O (모멘텀 인코더)	O (메모리 뱅크 활용)	71.1
SwAV	X	O (클러스터링 알고리즘)	71.8
Barlow Twins	X	O (필수적인 Standardization)	73.2
BYOL	O (모멘텀 + Stop Gradient)	X	74.3
VICReg (본 논문)	X (완벽한 독립 구조)	X (명시적 손실 함수만 사용)	73.2

 

VICReg는 Top-1 정확도 73.2%를 기록했습니다. 이는 이론적 근원인 Barlow Twins와 완벽히 동일한 성능이며, SwAV(71.8%)를 능가하고, 매우 복잡한 모멘텀 인코더와 비대칭성을 활용한 BYOL(74.3%)에 육박하는 현존 최고 수준(SOTA)의 성능입니다. 어떠한 구조적 꼼수 없이 순수 수리적 손실 함수만으로 이룬 성과라는 점에서 학술적 가치가 매우 높습니다.

 

다중 양상 전이 학습에서의 압도적 우위 (Multi-modal Tasks)

VICReg의 진가는 단순히 이미지만을 다룰 때가 아니라, 네트워크의 두 갈래가 서로 완전히 다른 구조와 가중치를 가져야만 하는 '비대칭 데이터' 환경에서 폭발적으로 발휘됩니다. Barlow Twins는 두 출력 벡터 간의 교차 상관행렬을 구하기 때문에 양쪽 브랜치의 통계적 속성이 엇비슷해야만 안정적으로 동작합니다. 반면 VICReg는 좌측 브랜치의 분산·공분산과 우측 브랜치의 분산·공분산을 각각 개별적으로 계산하여 제재를 가하기 때문에, 양쪽 브랜치의 입력 속성이나 신경망 아키텍처가 완전히 달라도 최적화에 아무런 문제가 발생하지 않습니다.

• 텍스트-이미지 교차 검색 (Image-Text Retrieval on MS-COCO): 이미지와 텍스트 쌍을 다루는 MS-COCO 검색 실험에서, VICReg는 R@1(가장 관련성 높은 항목을 1순위로 찾을 확률) 기준 33.6% (Image-to-text) 및 45.2% (Text-to-image)를 기록했습니다. 이는 대조 학습 기반의 VSE++ 모델(30.3% / 41.3%)과 Barlow Twins(31.4% / 42.9%)를 통계적으로 유의미한 큰 격차로 따돌린 결과입니다.
• 오디오 분류 (Audio Classification on ESC-50): 1차원 오디오 파형과 2차원 멜 스펙트로그램을 동시에 입력받는 이종 네트워크 구성에서도 VICReg는 78.4%의 탁월한 정확도를 달성하여, 동일한 환경에서 75.4%에 그친 Barlow Twins와 일반적인 지도학습 베이스라인(72.7%)을 가볍게 앞질렀습니다.

 

한계점 및 실패 케이스 (Limitations & Weakness)

논문은 방법론의 우수성만을 과장하지 않고 현실적인 한계점 역시 솔직하게 공유합니다.

• 거대한 확장기(Expander) 의존성과 컴퓨팅 비용: VICReg의 공분산 규제가 효과적으로 동작하여 차원 간의 얽힌 정보를 풀어내기 위해서는 2048차원의 표현 벡터를 8192차원, 길게는 16384차원까지 넓히는 방대한 규모의 확장기가 훈련 과정에 반드시 존재해야 합니다. 차원 수가 줄어들면 모델 성능이 가파르게 하락합니다. 이로 인해 모델 파라미터가 크게 증가하며, V100 GPU 32대를 기준으로 SwAV가 9시간 걸리는 학습을 진행할 때 VICReg는 11시간이 소요되는 등 더 많은 훈련 비용과 VRAM 메모리가 요구됩니다.
• 세밀한 지역적 예측(Dense Prediction)의 성능 격차: VICReg는 이미지 전반의 문맥을 포착하여 '하나의 전역 벡터(Global vector)'로 요약하는 데는 매우 능하지만, 개별 픽셀의 위치 관계가 중요한 객체 탐지(Object Detection)나 인스턴스 분할(Instance Segmentation) 작업에서는 약간의 약점을 노출합니다. VOC07+12 객체 탐지 전이 학습에서 VICReg는 82.4 AP50을 기록하여 SwAV나 Barlow Twins(각각 82.6) 대비 근소하게 낮은 성능을 보여주었습니다.
• 소규모 데이터셋에서의 민감성: 후속 독립 연구에 따르면, 데이터 샘플 수가 매우 적으면서도 분류 체계가 복잡한 TinyImageNet과 같은 특정 데이터셋에서는 분산과 공분산 통계량을 정확하게 추정하기 힘들어져 최적화가 불안정해지고 심지어 붕괴(Collapse)에 가까운 성능 저하가 일어날 수 있음이 보고되기도 했습니다.

 

8. 이 논문의 계보와 발전 (Impact & Follow-ups)

VICReg 논문은 단순한 성능 개선을 넘어, 자기지도 학습의 패러다임을 "아키텍처의 기교"에서 "표현의 통계적 속성 통제"로 옮겨놓았습니다. 이 강력한 사상은 단발성으로 끝나지 않고 컴퓨터 비전 및 파운데이션 모델(Foundation Models)을 지배하는 거대한 물결로 이어졌습니다.

 

• VICRegL: 글로벌(Global)의 한계를 넘어 로컬(Local) 정보를 융합하다 (2022) VICReg 논문 출판 직후, 기본 모델이 이미지 전체를 하나의 벡터로 압축해버려 객체 탐지나 분할 등 픽셀 단위의 정밀한 밀집 예측(Dense prediction) 작업에서 약점을 보인다는 피드백이 학계로부터 제기되었습니다. 이에 본 논문의 핵심 저자들(Adrien Bardes, Jean Ponce, Yann LeCun)은 곧바로 후속 연구인 VICRegL (Local Visual Features)을 NeurIPS 2022에 발표하며 문제를 정면 돌파했습니다. VICRegL은 네트워크 최상단의 전역 단일 벡터에만 V-I-C 규제를 가하는 기존 방식을 탈피하여, 풀링 계층(Pooling layer)을 통과하기 전 단계의 수많은 지역적 특징 맵(Local feature vectors) 사이에도 VICReg 규제를 병렬적으로 강제하는 방식을 택했습니다. 이를 통해 두 변형 이미지가 서로 다른 구도를 갖더라도 원본의 기하학적 공간 정보가 그대로 보존되도록 유도했습니다. 그 결과, 객체 탐지 및 세그멘테이션과 같은 까다로운 다운스트림 전이 학습에서 놀라운 성능 도약을 이루어내며 "글로벌과 로컬 표현의 조화"라는 새로운 방향성을 제시했습니다. 이 흐름은 추후 CLoVE(Contextualized Local Visual Embeddings) 등의 모델들이 세부적인 국소 정보를 파악하는 연구를 이어나가도록 영감을 주었습니다.
• JEPA (Joint Embedding Predictive Architecture)와 AI 거장의 비전 완성 가장 놀라운 계보는 인공지능 분야의 거장이자 튜링상 수상자인 얀 르쿤(Yann LeCun, 메타 수석 과학자)이 주도하는 인간 수준의 자율 기계 지능(Autonomous Machine Intelligence, AMI) 로드맵과 VICReg의 화학적 결합입니다. 오늘날의 생성형 AI 트렌드(GAN, Diffusion, LLM 등)는 데이터를 픽셀 단위나 개별 토큰 단위로 미세하게 재건(Reconstruction)하려 시도합니다. 그러나 르쿤은 이러한 생성적 모델이 자원의 낭비를 초래하며 세계의 본질적 인지 모델을 형성하지 못한다고 비판하며, 픽셀이 아닌 '추상적인 표현(Abstract representation) 공간' 내에서 누락된 영역을 예측하는 JEPA 구조를 강력히 주창했습니다. 이미지 기반의 I-JEPA 모델은 이미지의 일부분(Context)을 관찰한 뒤, 가려진 다른 부분(Target)의 시각적 픽셀을 복원하는 것이 아니라, 가려진 영역의 고차원 '임베딩 벡터' 자체를 예측합니다. 그런데 이 예측 과정 역시 대조 학습용 음성 표본을 쓰지 않기 때문에, 모델이 모든 예측을 동일한 상수로 뱉어버리는 전체 모델 붕괴(Entire model collapse)의 치명적 위험을 내포하고 있습니다. 바로 이 지점에서 VICReg가 구원투수로 등판합니다. 연구진들은 I-JEPA 구조의 근본적인 불안정성을 해결하기 위해, VICReg의 핵심 원리인 "분산을 임계치 이상으로 유지하고 차원 간 중복을 최소화한다"는 수식을 JEPA 프레임워크에 융합한 C-JEPA (Contrastive-JEPA)를 개발했습니다. VICReg의 원칙이 이식된 C-JEPA는 예측 품질이 극적으로 향상되었을 뿐만 아니라, 선형 탐색 및 미세 조정(Fine-tuning) 속도 측면에서 기존 I-JEPA를 압도하는 수렴 속도를 보여주었습니다. 결과적으로 VICReg의 명시적인 통계 제어 철학은 차세대 AI 패러다임으로 불리는 에너지 기반 임베딩 모델(Energy-based Models)과 JEPA 생태계를 안정적으로 굴러가게 만드는 심장과도 같은 엔진 역할을 수행하게 된 것입니다.

 

9. 마무리

VICReg 논문은 단순히 ImageNet 성능 수치를 몇 퍼센트 올린 것을 넘어 딥러닝 연구 커뮤니티가 나아가야 할 매우 긍정적이고 이성적인 방향표를 제시한 수작입니다. 그동안 자기지도 학습은 작동 원리가 수학적으로 완전히 규명되지 않은 휴리스틱(Heuristic) 기법들을 네트워크 구조에 이어 붙이는 경향을 보여왔습니다. 수만 개의 네거티브 표본을 저장하는 거대한 메모리 뱅크, 왜 학습에 도움이 되는지 논란이 많았던 비대칭 모멘텀 인코더와 그래디언트 정지, 그리고 모델 최적화에 과도한 민감도를 유발하는 까다로운 배치 정규화 의존성이 그 대표적인 사례였습니다.

 

VICReg는 이러한 "경험주의적이고 구조적인 꼼수"를 모두 걷어냈습니다. "데이터가 한 곳의 점으로 뭉쳐서는 안 된다(분산 유지)", "학습된 벡터의 각 차원은 서로 다른 유용한 정보를 골고루 담고 있어야 한다(공분산 제거)"라는 매우 직관적이고 우아한 명시적 수학 규제만으로 모델 정보 붕괴 현상을 완벽히 차단해 냈습니다. 특히 좌우 브랜치 간 가중치 공유나 아키텍처의 대칭성을 강제하지 않는다는 점은 연구자들에게 엄청난 설계의 자유도를 부여합니다. 이 덕분에 오디오와 이미지, 텍스트와 비디오 등 완전히 성격이 다른 데이터를 하나의 임베딩 공간으로 묶어내는 다중 양상 파운데이션 모델(Multi-modal Foundation Models)을 구축하는 데 있어 독보적이고 강력한 도구로 자리매김했습니다.

 

하지만 이 수학적으로 아름다운 논문에도 현업이나 실무 프로젝트에 당장 적용할 때 반드시 짚고 넘어가야 할 현실적인 제약 사항들이 존재합니다.

1. 차원 확장으로 인한 VRAM 및 연산량 부담: 손실 함수 내의 '공분산 규제'가 의도대로 작동하여 차원 간 얽혀있는 시각 정보를 독립적으로 풀어내려면, 인코더가 출력하는 2048차원의 표현 벡터를 8192차원 이상으로 비대하게 부풀리는 대형 확장기(Expander) 네트워크가 훈련 파이프라인에 필수적으로 포함되어야 합니다. 추론(Inference) 단계에서는 이를 폐기하므로 문제가 없지만, 학습(Pre-training) 단계에서는 엄청난 크기의 행렬 곱 연산이 추가되어 VRAM 메모리 소비가 급격히 늘어납니다. 따라서 제한된 GPU 환경의 스타트업이나 연구실에서는 배치 크기 조절 등 메모리 프로파일링에 각별히 유의해야 합니다.
2. 하이퍼파라미터 튜닝의 민감도: 불변성($\lambda$), 분산($\mu$), 공분산($\nu$)이라는 세 마리 토끼를 동시에 통제하는 통합 손실 함수를 사용하기 때문에, 이 세 가지 항 간의 가중치 비율을 조율하는 작업이 중요합니다. 논문에서는 25:25:1이라는 기본 밸런스를 훌륭한 초기값으로 제시했지만, 일반적인 자연 이미지가 아닌 도메인 특화 데이터(예: 노이즈가 많은 의료 방사선 영상, 초고해상도 위성 사진 등)에 적용할 때는 데이터의 본질적인 분산 특성이 다르므로 이 계수들을 처음부터 다시 교차 검증(Cross-validation)하며 튜닝(Tuning)해야 최적의 수렴을 유도할 수 있습니다.
3. 세밀한 객체 검출을 위한 구조화 필요: 해결하고자 하는 실무 과제가 단순히 이미지를 카테고리별로 전역 분류(Classification)하는 것이 아니라, 자율주행 차량 시스템의 보행자 밀집 탐지나 의료 영상 내의 미세한 결절 세그멘테이션과 같이 '픽셀 단위의 정밀한 기하학적 인식'이 요구되는 분야라면 초기 VICReg 모델만으로는 약간의 성능적 아쉬움을 겪을 수 있습니다. 이런 경우 주저 없이 후속 연구인 VICRegL의 방법론을 차용하여 풀링 이전의 지역적 특징 맵(Local feature maps)에도 V-I-C 규제를 다층적으로 적용하는 방식으로 모델 파이프라인을 고도화해야 합니다.

결론적으로, VICReg는 "어떻게 하면 인공신경망이 인간의 개입 없이 스스로 시각적 세계를 가장 효율적이고 안정적으로 구조화하여 배울 수 있을까?"라는 난제에 대해 가장 수학적이고 군더더기 없는 명확한 해답을 내놓은 연구입니다.