로컬 LLM 구축 및 경량화 서빙: Ollama & vLLM 마스터클래스
강좌 소개
데이터 유출 위험 없는 프라이빗 AI 인프라 구축을 위해, 오픈소스 LLM을 로컬 및 온프레미스 서버에 직접 구축하고 고속 서빙하는 실전 노하우를 다룹니다.
Ollama를 활용한 초간편 로컬 테스트부터, vLLM과 PagedAttention을 활용한 프로덕션급 대규모 동시 추론 서빙 파이프라인까지 단계별로 학습합니다. 양자화(Quantization: GGUF, AWQ, GPTQ) 기술을 통해 GPU 리소스를 최적화하고 고비용 API 비용을 90% 이상 절감하는 방법을 습득합니다.
이 강좌에서 배우는 것들
- Ollama 기반의 오픈소스 모델 로컬 설치 및 커스텀 모델 패키징
- vLLM 고속 서빙 엔진을 활용한 동시 추론 처리량(Throughput) 극대화
- 양자화(GGUF, AWQ)를 통한 메모리 및 인프라 비용 절감
- OpenAI 호환 REST API 엔드포인트 구축 및 사내 시스템 연동
교육 과정 (Curriculum)
Section 1: 오픈소스 LLM 생태계와 로컬 구동
- 오픈소스 모델 트렌드(Llama 3, Gemma 2, Mistral)
- Ollama 설치와 로컬 CLI 모델 실행 및 Modelfile 작성
- GPU 가속 환경 설정(CUDA, ROCm)과 하드웨어 요구사항
Section 2: 모델 양자화(Quantization)와 최적화
- 양자화 기초 원리: FP16에서 INT4/INT8로의 경량화
- GGUF와 llama.cpp를 활용한 CPU/GPU 혼합 오프로딩
- AWQ 및 GPTQ 양자화 모델 벤치마킹 및 품질 비교
Section 3: vLLM 기반 고성능 프로덕션 서빙
- vLLM의 PagedAttention과 동적 배치(Continuous Batching)
- vLLM 서버 구축과 OpenAI 호환 API 연동
- 멀티 GPU 분산 추론(Tensor Parallelism)과 실전 모니터링
필수 조건
- 기본적인 리눅스(Linux) 터미널 명령어 지식
- 도커(Docker) 기본 개념
수강 대상
- 데이터 보안이 필수적인 기업의 인프라 및 AI 엔지니어
- 고가의 상용 LLM API 비용을 내재화하려는 테크 리더
- 자체 GPU 서버에서 고속 모델 서빙을 운영하려는 개발자