JEPA(Joint Embedding Predictive Architecture)란

최근에 Jev가 핫하다. BERT를 만든 분이 2024년쯤부터 2년동안 조용히 폐관수련하면서 만든 아키텍쳐라고 하는데, '대놓고 빠른 직관, 이 직관들을 꾸준히 잘못됐다/잘됐다 라벨링을 하다보면 언젠가 중학생도 할 수 있는 수준의 간단한 일들은 이런 직관으로 처리할 수 있을까' 라는 철학을 갖고 있다.

Jev를 보면 Jev가 아키텍쳐 자체가 공개된건 아니기에 더더욱 Jev와 순수하게 이름이 비슷한 JEPA가 생각이 안 날 수가 없다..

JEPA는 지금의 언어모델들이 생성을 기반으로 사고한다면 이러한 생성과정 없이 표현을 입력받아 미래의 표현을 예측하는 그런 소형 모델이다. 세계의 역학 자체를 이해하려는 노력을 하는 시도를 하고 있다.

LLM은 아주 약간의 오류가 지수적으로 확장된다는 치명적인 오류를 가지고 있어서 얀 르쿤은 계속해서 언어모델에 대한 비판을 엄청나게 하고 다닌다. 확률적으로 여러 케이스를 대조하는 방식으로 사고를 진행하면 아주 약간의 오류가 조금씩 조금씩 쌓일 수밖에 없기에, SuperIntelligence는 언어모델로 만들 수 없다는게 그의 일관된 입장이다. LLM 자체의 구조적, 근본적 한계를 다룬 마이크로소프트의 논문

JEPA를 만든 얀 르쿤은 "지금의 llm들은 인간이 어렸을때 10년동안 학습하는 양을 40만년동안 학습하는것과 같은 그런 비효율적 형태를 가지고 있다"라고 지적하며 미래의 초지능을 위해선 새로운게 필요하다고 지금도 계속해서 얘기하고 다니고 있다.