대규모 언어 모델
View All Tags
본 글은 2026-07-02에 arXiv에 공개된 논문 "Program-as-Weights: A Programming Paradigm for Fuzzy Functions"의 초록과 메타데이터를 바탕으로 핵심 아이디어와 실용적 함의를 정리한 기술 리뷰다. 원문 초록은 PAW(Program-as-Weights)라는 패러다임을 제시하며, 자연어로 정의된 ‘퍼지(fuzzy) 함수’들을 신경망 기반의 소형, 재사용 가능한 아티팩트로 컴파일하여 로컬에서 저비용으로 실행할 수 있음을 보고한다. 본 정리는 초록에 명시된 주장과 수치를 중심으로 요약하며, 자세한 실험·하이퍼파라미터 등은 본문 PDF를 확인할 것을 권고한다.
prompts.chat은 커뮤니티 기여 기반의 프롬프트 컬렉션으로, GitHub 저장소(f/prompts.chat)와 별도 웹 인터페이스(prompts.chat)를 통해 배포됩니다. 본 글은 제공된 GitHub 저장소 스냅샷(README, SELF-HOSTING.md, PROMPTS.md 등과 관련 페이지 일부)을 근거로 기능, 라이선스, 배포 옵션 및 통합 포인트를 요약·해석합니다. 문서에서 확인 가능한 사실을 우선으로 다루며, 일부 구현 세부사항은 제공된 증거에 포함되지 않아 불확실함을 명시합니다.
본 포스트는 Achint Mehta(2026)의 관찰 연구 "Reasoning effort, not tool access, buys first-try reliability in agentic code generation"(arXiv:2607.02436v1)을 근거로 한 기술적 요약과 실무적 해석입니다. 논문은 동일한 요구사항(spec)으로 실시간 회고 게시판(retrospective board)을 구현하도록 90개의 독립적 에이전트 실행을 관찰하고, 고정된 14개 기준(총 42점 만점)으로 기능성 점수와 시각 품질을 평가했습니다. 핵심 결과는 모델 능력 계층(capability tier)과 추론 노력(reasoning effort)이 첫 시도 성공률에 결정적 영향을 주며, 단순히 테스팅 도구를 추가하는 것은 비용만 증가시켰다는 것입니다.
ReContext(또는 RECONTEXT)는 대규모 언어모델(LLM)이 이미 입력에 들어있는 관련 정보를 더 잘 활용하게 하기 위한, 학습이 필요 없는 추론 단계 기법입니다. 원 논문(아직은 arXiv 초록 및 메타데이터만 확인 가능)은 모델 내부의 관련성 신호를 이용해 질문에 조건화된 증거 풀(evidence pool)을 구성하고, 최종 생성 전에 그 증거를 재생(replay)하는 방식이라고 요약합니다.
2017년 Transformer는 sequence model의 기본 가정을 바꿨다. “순서대로 읽는 모델”보다 “한 번에 보고 중요한 관계를 고르는 모델”이 더 잘 확장될 수 있다는 주장이 기계번역에서 먼저 증명됐고, 이후 LLM 시대의 표준 구조가 됐다. 그런데 표준이 된 구조에는 항상 비용이 따라온다. 긴 문맥을 다룰수록 attention 계산량과 메모리 사용량이 커지고, 추론 시에는 이미 지나간 토큰을 계속 참조하기 위한 캐시가 시스템 설계의 중심 문제가 된다.
ICLR의 Transformer 대체제 논의를 예시로 보면, 흥미로운 첫 질문은 “Transformer를 더 크게 만들 것인가?”가 아니라 “Transformer 이전의 RNN을 다시 설계하면 무엇이 남는가?”다. Leo Feng 등은 *Were RNNs All We Needed?*에서 LSTM과 GRU를 최소화한 minLSTM, minGRU를 제안하며, 오래된 recurrent 계열도 병렬 학습과 경쟁력 있는 성능을 동시에 가질 수 있다고 주장한다.
최근 몇 년간 개발자·제품팀·대화형 AI 사용자는 작업의 중심을 '채팅'으로 옮겨 왔습니다. Statey는 그 흐름을 그대로 받아들여, 별도 UI가 아니라 MCP(Multi-Client Protocol) 채팅 세션 안에서 레코드(티켓, 고객, 문서 등)를 저장·조회·변경할 수 있게 하는 데이터베이스 설계입니다. 이 글은 Statey가 제시하는 아키텍처적 아이디어와 실제 통합·운영 관점에서 검토해야 할 기술적 논점을 정리합니다.
trajeckt는 에이전트가 호출하는 각 툴 호출을 개별적으로 평가하는 전통적 접근의 맹점을 보완하기 위해 설계된 런타임 강화(gateway)입니다. 제공된 리포지토리 자료에 따르면 주요 아이디어는 "에이전트 실행 전에 허가된 궤적(trajectory)을 컴파일해 봉인(sealed)된 그래프로 만들고, 실행 중 모든 호출을 그 그래프의 현재 도달 가능(frontier)에 대해 실패-닫힘(fail-closed)으로 검사"하는 것입니다. 이 접근은 여러 단계에 걸친 데이터 유출(exfiltration) 시나리오를 하나의 호출로는 잡아내지 못하는 기존 시스템의 구조적 한계를 메우는 것을 목표로 합니다.