finetuning error 모음
RuntimeError: Cannot find valid samples, check data/README.md for the data format시스템, 어시스턴트, 유저 순서 에러, 어시스턴트가 유저보다 절대 먼저 나올 없음.
LLM이 만든 망가진 JSON, 어떻게 고치지? - json_repair로 해결하기
대형 언어 모델(LLM)을 활용하다 보면 이런 경험 한 번쯤 해보셨을 겁니다.“JSON 포맷으로 결과를 반환해줘” 라고 요청했는데, 결과는…{ "name": "ChatGPT", "skills": ["NLP", "reasoning" "code wr...
MCP Langgraph AI 에이전트 아키텍처와 LangChain MCP Adapters의 FastMCP SSE 예제
최근 AI 에이전트를 구축할 때, 다양한 외부 도구를 손쉽게 연결하고 확장할 수 있는 MCP Model Context Protocol) 아키텍처가 주목받고 있습니다.🧩 MCP란?MCPModel Context Protocol)는 LLM 기반 AI ...
MCP Remote SSE 사용하기
최근 AI 업계에서는 모델 컨텍스트 프로토콜(MCP) 이 주요 이슈로 떠오르고 있다. MCP는 애플리케이션이 대형 언어 모델(LLM)에 컨텍스트를 제공하는 방식을 표준화하는 개방형 프로토콜이며, 여러 기업 및 개발자들이 이를 활용한 프로젝트를 진...
gemma3 vllm에서 dtype bfloat16과 float16 빈칸 문제
현재 젬마3가 나와서 구동을 돌려보는데 제대로 안되는 경우가 발생한다. vllm에서 dtype을 float16으로 돌릴때 문제가 나온다.기본적으로 젬마3가 bfloat16으로 학습이 진행됬는데, 콜랩 무료환경에서는 bfloat16이 T4 GPU의...
허깅페이스 에이전트 코스 week1
허깅페이스에서 AI 에이전트 코스 온라인 강의를 만들었다해서 따라해보기로함. LangChain, LlamaIndex, SmolAgents을 사용해서 진행할 예정이고, 기본적인 Python과 LLM(Large Language Models) 지식만 ...
vLLM으로 임베딩 모델 서빙
LLM에서는 최근 RAG에서 많이 쓰는 임베딩 모델을 일부 지원하기 시작함. 지원하는 아키텍쳐가 적지만, LLM기반과 가장 많이 사용되는 BAAI의 SOTA 모델과 LLM 기반의 임베딩 모델 위주로 지원함.과거 모델은 쓰기 어려우나, 앞으로 나...
EXAONE 3.0 7.8B 모델의 llamafied과 파인튜닝
EXAONE 3.0 소개: EXAONE 3.0은 LG AI Research에서 개발한 명령 조정 언어 모델로, LLM(대형 언어 모델) 시리즈 중 최초의 개방형 모델로 유명합니다. 78억 개의 매개변수 버전이 연구 및 혁신을 지원하기 위해 공개적...
LLM2Vec 디코더 전용 LLM을 텍스트 인코더로 변환하는 방법
LLM2Vec: 디코더 전용 LLM을 텍스트 인코더로 변환하는 방법LLM2Vec은 강력한 텍스트 임베딩을 위해 디코더 전용 대규모 언어 모델(LLM)을 활용하는 새로운 접근 방식을 도입하여 BERT와 같은 기존 인코더 기반 방법과 대조됩니다. 이...
LLM 병합 Mergekit을 사용해보자 간단히 따라해보기
툴킷 소개 및 목적:MergeKit은 매개변수를 결합하고 전이 학습의 발전을 활용하여 대규모 언어 모델(LLM)을 병합하도록 설계된 툴킷입니다.이는 광범위한 재교육 없이 오픈 소스 LLM의 기능을 향상하여 치명적인 할루시네이션과 같은 문제를 해결...