H3: 언어 모델링에서 SSM이 놓치던 기억과 비교
Hungry Hungry Hippos가 상태공간모델의 언어적 약점을 토큰 기억과 비교 능력으로 분해하고, H3와 FlashConv, 하이브리드 attention 조합으로 어떻게 보완하는지 설명합니다.
// TOPIC STREAM
"Language Modeling" 태그 글 2개
언어 모델링 방법과 평가 / Language modeling methods and evaluation.
Mamba: 선택적 상태공간으로 콘텐츠 기반 추론에 접근하기
Mamba가 입력에 따라 상태공간 파라미터를 바꾸는 selective SSM과 하드웨어 인식 병렬 알고리즘으로 긴 시퀀스의 효율성과 언어 모델링 성능을 함께 겨냥한 이유를 설명합니다.