Mamba: 선택적 상태공간으로 콘텐츠 기반 추론에 접근하기
Mamba가 입력에 따라 상태공간 파라미터를 바꾸는 selective SSM과 하드웨어 인식 병렬 알고리즘으로 긴 시퀀스의 효율성과 언어 모델링 성능을 함께 겨냥한 이유를 설명합니다.
// TOPIC STREAM
"Mamba" 태그 글 4개
Mamba와 selective state-space 모델 / Mamba and selective state-space models.
Mamba-2는 왜 Transformer와 닮았는가: SSD로 다시 읽는 SSM
Tri Dao와 Albert Gu의 Mamba-2 논문을 따라가며 상태공간모델과 어텐션의 연결, SSD 알고리즘의 하드웨어적 의미, 그리고 확인되지 않은 주장까지 정리한다.
Mamba-3: 선형 추론을 실제 시퀀스 모델링 품질로 연결하기
Mamba-3는 상태공간 관점에서 재귀식, 복소 상태 업데이트, MIMO 입력·출력을 개선해 효율성과 상태 추적 능력을 함께 높이려 한다. 논문 초록에 명시된 1.5B 결과를 중심으로 설계와 증거의 경계를 분석한다.
Hidden State Poisoning: Mamba의 효율적인 상태가 공격 표면이 될 때
Hidden State Poisoning Attacks against Mamba-based Language Models는 짧은 트리거가 Mamba 계열의 은닉 상태를 덮어써 정보 검색을 무너뜨리는 현상을 분석한다. HiSPA와 RoBench-25를 중심으로, 효율적 상태와 보안 경계의 관계를 원문 초록 범위에서 설명한다.