본문으로 건너뛰기

SSM은 Transformer를 대체하는가, 아니면 역할을 나누는가?

· 약 6분
p4r4d0xb0x
p4r4d0xb0x
Rustacean, AI, OSS Enthusiast

cover placeholder

Transformer 이후의 시퀀스 모델 논쟁은 자주 왕좌 교체의 언어로 번역된다. “다음은 SSM인가?”, “attention은 끝났는가?”라는 질문은 이해하기 쉽지만, 실제 시스템 설계에는 충분하지 않다. 더 정확한 질문은 어떤 계산을 어느 층에 맡길 것인가이다. 긴 입력을 한 번에 처리해야 하는가, 토큰을 하나씩 생성해야 하는가, 과거의 모든 토큰을 다시 참조해야 하는가, 아니면 고정 크기 상태만 업데이트하면 되는가에 따라 좋은 구조가 달라진다.

이 글의 결론부터 말하면, 공개된 초록 수준의 증거만으로 SSM이 Transformer를 전면 대체한다고 말하기는 어렵다. 반면 SSM이 Transformer의 비용이 커지는 구간에서 독립적인 선택지이거나, 두 구조를 함께 쓰는 하이브리드의 구성 요소라는 해석은 여러 연구의 방향과 잘 맞는다. 아래에서 출처의 주장과 이 글의 해석을 분리해 보자.

먼저 구분할 것: attention과 state​

용어 해설: 상태공간 모델(SSM)

SSM은 입력을 읽으면서 내부 상태를 갱신하고, 그 상태에서 출력을 만드는 계열이다. 긴 시퀀스를 고정 크기 또는 제한된 크기의 동적 상태로 요약한다는 점이 핵심 직관이다.

일상 예: 긴 회의에서 모든 발언 녹취를 책상 위에 펼쳐 두는 대신, 회의 진행자가 현재까지의 핵심을 메모 한 장에 계속 갱신하는 방식과 비슷하다.

용어 해설: self-attention

각 토큰이 다른 토큰을 얼마나 참고할지 계산하는 메커니즘이다. 과거 토큰을 직접 다시 볼 수 있다는 것이 강점인 동시에, 긴 문맥에서는 계산·메모리 비용의 원인이 된다.

Transformer의 attention은 직접적인 토큰 간 접근을 제공한다. 이 특성은 문맥 안에서 멀리 떨어진 두 단어의 관계를 선택적으로 확인하는 데 유리하다. 그러나 자동회귀 생성에서는 과거의 key/value를 캐시해야 하며, 컨텍스트가 길어질수록 캐시와 대역폭이 중요한 비용이 된다. SSM 계열은 이와 다른 경로를 택한다. 매 단계에서 상태를 갱신하고, 다음 계산에 필요한 정보를 상태에 남긴다. 이때 과거를 그대로 보존하는 것이 아니라 모델이 학습한 동역학으로 변환한다.

이 차이는 “SSM은 기억력이 좋고 attention은 나쁘다”라는 성격 비교가 아니다. 어떤 정보를 원본에 가깝게 재조회해야 하는지, 어떤 정보는 요약해도 되는지가 문제다.

Mamba: 대체제라기보다 계산 경로의 재설계​

Mamba 논문은 selective state space model을 제안하면서, 입력에 따라 상태공간 파라미터를 선택적으로 조절하는 구조를 제시한다. 초록에서 저자들은 선택성이 SSM이 입력 내용에 맞춰 정보를 기억하거나 잊게 하며, 긴 시퀀스에서 선형 스케일링과 빠른 추론을 목표로 한다고 설명한다. 이는 고정된 선형 필터가 모든 토큰을 같은 방식으로 처리하는 그림과 다르다.

출처가 말하는 것: Mamba는 selective SSM과 하드웨어 인식 알고리즘을 결합하고, 언어·오디오·유전체 등 여러 모달리티에서 선형 시퀀스 길이 스케일링을 보고한다. Transformer와의 비교 실험도 있지만, 초록만으로 모든 규모·데이터·하드웨어에서의 우월성을 일반화할 수는 없다.

해석: Mamba의 의미는 attention을 폐기했다는 데 있기보다, 토큰별 직접 참조가 필요하지 않은 계산을 상태 업데이트로 바꿀 수 있음을 보여준 데 있다. 스트리밍 입력, 긴 문맥의 전처리, 반복적인 패턴 추적처럼 “현재까지의 요약 상태”가 유효한 작업에서는 이 경로가 매력적이다. 반대로 정확한 원문 재인용이나 임의 토큰 간 조합이 핵심인 작업은 여전히 직접 접근 구조의 이점을 가질 수 있다.

Griffin: recurrent와 local attention의 절충​

Google의 Griffin은 gated linear recurrences와 local attention을 결합한 hybrid 모델 계열로 제안되었다. 이 조합 자체가 중요한 신호다. 연구 질문이 “attention 또는 recurrence 중 하나를 고르라”가 아니라, 선형 recurrence가 잘하는 장거리 요약과 local attention이 잘하는 근거리 상호작용을 한 모델 안에서 배치하는 방향이기 때문이다.

용어 해설: local attention

전체 문맥이 아니라 최근의 제한된 창(window)에 대해서만 attention을 계산하는 방식이다. 가까운 토큰의 정밀한 관계는 유지하면서 전체 비용을 줄이려는 절충이다.

출처와 해석의 경계: Griffin의 초록은 이 하이브리드 구조가 언어 모델링과 장문맥 평가에서 경쟁력 있는 특성을 보인다고 보고한다. 그러나 이것이 모든 Transformer 블록을 recurrence로 교체해야 한다는 처방은 아니다. 오히려 서로 다른 시간 범위의 상호작용을 다른 연산에 맡기는 설계 공간을 열었다고 읽는 편이 안전하다.

Jamba: 하이브리드는 연구 아이디어에서 시스템 구성으로​

Jamba는 Transformer와 Mamba 계열 층을 결합한 언어 모델 아키텍처로 공개되었다. 공개된 설명에서 핵심은 attention과 Mamba 층의 혼합, 그리고 MoE를 통한 모델 용량·추론 비용 조절이다. 이 사례는 역할 분담이 단순한 이론적 비유가 아니라 실제 모델 구성의 선택이 될 수 있음을 보여준다.

Jamba에서 attention은 모든 정보를 직접 보아야 하는 구간을 담당하고, Mamba 층은 긴 시퀀스를 선형적인 상태 경로로 처리하는 부분을 맡는 식으로 해석할 수 있다. 다만 어느 층의 비율이 최적이며, 각 태스크에서 병목이 정확히 어떻게 이동하는지는 모델 크기와 구현에 의존한다. 논문·제품 페이지의 결과를 다른 배포 환경의 보장으로 읽어서는 안 된다.

Mamba-3가 던지는 질문: 이론적 선형성만으로 충분한가​

Mamba-3는 상태공간 원리로 시퀀스 모델링을 개선하며 지수-사다리꼴 이산화, 복소수 상태 업데이트, MIMO SSM을 제안한다. 제공된 논문 요약은 MIMO가 메모리 병목 상황에서 디코딩 FLOP을 늘려 하드웨어 이용률을 높이려는 설계라고 설명한다. 즉 “선형 복잡도”라는 표기만으로 실제 지연시간이 결정되지 않는다는 점을 강조한다.

출처가 보고한 수치: 증거 팩 요약에는 1.5B 규모에서 기본 Mamba-3가 강한 선형 계층 대비 평균 0.6%p, MIMO가 추가 약 1.2%p의 다운스트림 향상을 보였고, 동일 상태 크기에서 Mamba-2 대비 디코딩 FLOP을 최대 4배 늘리면서 유사한 실제 지연시간을 보고했다고 적혀 있다.

제한: 이 수치는 특정 실험 조건의 결과다. 하드웨어 모델, 커널 버전, 배치 크기, 정확한 평가 목록을 확인하지 않고 “SSM이 항상 더 빠르다”고 결론내릴 수 없다. Mamba-3는 SSM 내부의 설계 여지도 여전히 크다는 증거이지, Transformer의 보편적 폐기를 입증하는 증거는 아니다.

그래서 역할을 어떻게 나눌 것인가​

실무적으로는 세 가지 배치가 가능하다.

  1. SSM 중심: 입력이 매우 길고, 스트리밍 또는 저메모리 추론이 중요하며, 과거의 충분한 표현이 요약 상태로 유지될 수 있을 때 검토한다.
  2. attention 중심: 임의의 과거 토큰을 정밀하게 재참조하거나, 문맥 안의 희소한 관계를 직접 조합하는 능력이 우선일 때 검토한다.
  3. 하이브리드: 가까운 관계는 local attention, 장거리 누적은 recurrent/SSM, 특정 층의 전역 참조는 attention에 맡긴다. Jamba와 Griffin은 이 방향의 구체적 사례다.

이 선택은 모델 구조만의 문제가 아니다. 학습 병렬화, KV 캐시, 커널 지원, 배치 처리, 품질 평가, 장애 시 상태 복구까지 함께 평가해야 한다. SSM은 상태를 가진다. 따라서 요청 간 상태를 어떻게 격리하고 저장할지도 Transformer와 다른 운영 질문이 된다.

결론과 한계​

SSM은 Transformer의 “후계자”라기보다, 시퀀스 계산을 분해하는 또 하나의 축에 가깝다. Mamba는 선택적 상태 경로를, Griffin은 recurrence와 local attention의 조합을, Jamba는 hybrid 언어 모델을, Mamba-3는 SSM의 품질·하드웨어 개선 가능성을 보여준다. 이 증거들이 함께 지지하는 보수적인 결론은 “단일 승자”가 아니라 workload에 따른 역할 분담이다.

다만 이 글은 각 논문의 초록과 공개 요약에 한정했다. 전체 실험표, 구현별 메모리 사용량, 상용 모델의 비공개 최적화, 태스크별 실패 사례는 검증하지 못했으며 unverified로 남긴다. 실제 도입 전에는 동일한 데이터·하드웨어·배치 조건에서 attention-only, SSM-only, hybrid를 직접 비교해야 한다.

Sources​

// COMMENTS

댓글