김형 BLOG
안녕하세요. 여기는 LLM을 연습하는 연습장 입니다.
LLM에게 디자인 시스템 문서를 통째로 먹이지 마라: Meta Astryx가 AI 에이전트를 일급 시민으로 대우하는 방식
LLM에게 디자인 시스템 문서를 통째로 먹이지 마라: Meta Astryx가 AI 에이전트를 일급 시민으로 대우하는 방식Cursor, Claude Code, GitHub Copilot 같은 AI 코딩 어시스턴트가 일상화되면서, 프론트엔드 개발 현...
에이전트 실패의 90%는 모델 지능이 아니라 '하네스(Harness)' 문제다: Google Research Harness²와 에이전트 엔지니어링
에이전트 실패의 90%는 모델 지능이 아니라 ‘하네스(Harness)’ 문제다: Google Research Harness²와 에이전트 엔지니어링최근 Claude 3.7 Sonnet, OpenAI o3, Gemini 2.5 등 대규모 언어 모델(...
토큰 생성 대신 확률적 결정을 내리는 AI: TypeSafe AI의 System One 모델과 Jev
토큰 생성 대신 확률적 결정을 내리는 AI: TypeSafe AI의 System One 모델과 Jev지난 몇 년간 대규모 언어 모델(LLM)은 사람과의 채팅 영역에서 인간을 능가할 정도로 눈부신 발전을 이뤄냈습니다. 하지만 개발자가 소프트웨어 안...
클로드 텍스트 워터마킹 작동 원리 바꿔도 되는 단어로 만드는 보이지 않는 지문
클로드(Claude) 텍스트 워터마킹 작동 원리: 바꿔도 되는 단어로 만드는 보이지 않는 지문최근 앤트로픽(Anthropic)이 클로드(Claude)에 도입한 ‘텍스트 워터마킹(Text Watermark)’의 구체적인 작동 원리와 핵심 메커니즘을...
LLM 추론 가속의 정점 추측 디코딩(Speculative Decoding)부터 MTP와 DeepSeek DSpark까지
LLM 추론 가속의 정점: 추측 디코딩(Speculative Decoding)부터 MTP와 DeepSeek DSpark까지대규모 언어 모델(LLM)을 서빙할 때 가장 큰 고민은 단연 ‘토큰 생성 속도(Tokens/sec)’와 ‘비용’입니다. 프롬...
LettuceDetect 어디가 거짓인지 딱 짚어내는 초경량 스팬 단위 할루시네이션 탐지기
LettuceDetect: 어디가 거짓인지 딱 짚어내는 초경량 스팬 단위 할루시네이션 탐지기 🥬🔍RAG(검색 증강 생성)나 AI 코딩 에이전트를 실무 프로덕션에 배포할 때 가장 까다로운 장벽 중 하나는 바로 출력물의 사실 검증(Grounding ...
TurboQuant 고차원 회전을 이용한 KV 캐시 양자화 및 PyTorch 실전 구현
TurboQuant: 고차원 회전을 이용한 KV 캐시 양자화 및 PyTorch 실전 구현대규모 언어 모델(LLM) 추론 시 컨텍스트 길이가 길어짐에 따라 KV 캐시(Key-Value Cache)가 점유하는 VRAM 용량은 기하급수적으로 증가합니다...
pplx-embed 확산 기반 사전학습을 통한 고성능 다국어 임베딩 시스템 구축
pplx-embed: 확산 기반 사전학습을 통한 고성능 다국어 임베딩 시스템 구축pplx-embed는 Perplexity에서 공개한 실제 웹 규모 검색 작업에 최적화된 다국어 임베딩(Embedding) 모델 컬렉션입니다. Qwen3를 백본(Bac...
Pieces OS Claude Desktop과 연동하여 개발 워크플로우 기억 시스템 구축하기
Pieces OS: Claude Desktop과 연동하여 개발 워크플로우 기억 시스템 구축하기Pieces OS 개요Pieces OS는 개발자의 작업 흐름을 OS 레벨에서 자동으로 캡처하고 저장하는 시스템입니다. 일반적인 AI 어시스턴트가 대화 세...
Tiled MLP 대규모 언어 모델의 긴 시퀀스 학습
대규모 언어 모델(LLM) 연구에서 긴 시퀀스(Long Sequence) 처리 능력은 모델의 성능을 결정짓는 중요한 요소입니다. 하지만 시퀀스 길이가 늘어날수록 급격히 증가하는 메모리 사용량은 학습과 추론 과정에서 큰 병목으로 작용합니다. 본 글...