Griffin의 절충안: Gated Linear Recurrence와 Local Attention을 함께 쓰는 법
Hawk와 Griffin이 순환 모델의 효율성과 Transformer의 표현력을 어떻게 조합하는지, 논문이 보고한 근거와 실제 도입 시 남는 질문을 분리해 읽는다.
// TOPIC STREAM
"RNN" 태그 글 2개
순환 신경망과 후속 구조 / Recurrent neural networks and descendants.
RWKV-5 Eagle과 RWKV-6 Finch: 상태를 행렬로 키우고 recurrence를 동적으로 만들기
Eagle과 Finch가 RWKV-4의 효율적 추론 경로를 유지하면서 행렬 상태, 다중 헤드, 데이터 의존적 recurrence를 추가한 과정을 원문 근거와 함께 해설한다.