H3: 언어 모델링에서 SSM이 놓치던 기억과 비교
Hungry Hungry Hippos가 상태공간모델의 언어적 약점을 토큰 기억과 비교 능력으로 분해하고, H3와 FlashConv, 하이브리드 attention 조합으로 어떻게 보완하는지 설명합니다.
// TOPIC STREAM
"Attention" 태그 글 2개
Attention 메커니즘과 효율적 대안 / Attention mechanisms and efficient alternatives.
Griffin의 절충안: Gated Linear Recurrence와 Local Attention을 함께 쓰는 법
Hawk와 Griffin이 순환 모델의 효율성과 Transformer의 표현력을 어떻게 조합하는지, 논문이 보고한 근거와 실제 도입 시 남는 질문을 분리해 읽는다.