과정 소개
클라우드 LLM의 성능은 좋지만, 매달 나가는 API 비용과 데이터 유출 리스크는 부담입니다. 로컬 LLM은 이 두 가지 문제를 동시에 해결합니다.
Ollama를 활용하면 내 PC나 사내 서버에서 LLM을 무료로 무제한 사용할 수 있습니다. 이 과정은 Ollama 설치와 운영부터 시작해, 0.8+ 버전의 구조화 출력(JSON 스키마로 응답 형식 강제)까지 실무에 필요한 기능을 빠짐없이 다룹니다.
핵심은 RAG(Retrieval-Augmented Generation)입니다. 사내 문서를 청킹하고, Ollama로 임베딩을 생성하여 ChromaDB에 저장하면, AI가 회사 내부 지식을 기반으로 정확한 답변을 할 수 있습니다. 외부로 데이터를 보내지 않으면서도요.
LangChain LCEL의 파이프 연산자로 선언적 체인을 구성하고, LangGraph로 상태 기반 에이전트와 Human-in-the-loop 워크플로우를 만드는 것까지 — AI 애플리케이션의 전체 스택을 8시간 안에 경험합니다.
핵심 학습 내용
- 비용 제로 + 데이터 보안 — 로컬에서 무료로 무제한 AI 활용
- Ollama 구조화 출력 — JSON 스키마로 AI 응답 형식을 정밀하게 제어
- 로컬 RAG 구축 — 사내 문서 기반 AI 답변 시스템을 외부 전송 없이 구현
- LangChain LCEL — 파이프 연산자로 선언적 AI 체인 구성, 병렬 최적화
- LangGraph — 상태 기반 에이전트 + Human-in-the-loop 워크플로우
상세 커리큘럼
8개 모듈 · 총 8시간 01
로컬 LLM 개요
30분 필요성과 장점클라우드 vs 로컬보안 이점
02
Ollama 설치와 활용
70분 설치모델 다운로드CLI/API구조화 출력
03
로컬 LLM 모델 비교
30분 LlamaMistralPhiQwenDeepSeek
04
RAG 이해와 활용
70분 RAG 아키텍처벡터 DB임베딩 모델
05
LangChain LCEL 기초
70분 LCEL 파이프라인Runnable병렬 실행LangSmith
06
LangGraph 기초
60분 상태 그래프노드/엣지Human-in-the-loop
07
로컬 RAG 실습
60분 Ollama + ChromaDBLCEL 체인 구축
08
파인튜닝 개요
30분 LoRA/QLoRA언제 파인튜닝하나
#Ollama#로컬LLM#RAG#LangChain#LangGraph
과정 요약
소요 시간
8시간
대상
중급 개발자 이상
난이도
중급
모듈 수
8개 모듈