기업 맞춤형 LLM 파인튜닝(Fine-Tuning) 실전: LoRA & QLoRA
강좌 소개
프롬프트 엔지니어링과 RAG만으로는 해결하기 어려운 사내 고유 어조, 특정 산업군 전문 용어, 정형화된 출력 양식을 파운데이션 모델에 직접 내재화하는 파인튜닝 실전 과정입니다.
Hugging Face 트랜스포머 라이브러리와 PEFT(Parameter-Efficient Fine-Tuning) 기법인 LoRA/QLoRA를 활용하여 적은 GPU 리소스로 효과적인 학습을 수행합니다. 데이터셋 구축, 토크나이징, 하이퍼파라미터 튜닝, 평가 및 모델 가중치 병합까지 전 과정을 다룹니다.
이 강좌에서 배우는 것들
- 파인튜닝의 필요성과 RAG와의 역할 분담 전략 수립
- 고품질 지시어(Instruction) 데이터셋 정제 및 전처리 기법
- LoRA 및 QLoRA를 활용한 저비용 고효율 파라미터 미세조정
- 학습된 어댑터(Adapter) 가중치 병합 및 로컬 서빙 배포
교육 과정 (Curriculum)
Section 1: 파인튜닝 개요와 데이터셋 구축
- 파인튜닝 vs RAG vs 프롬프트 엔지니어링 비교 분석
- SFT(Supervised Fine-Tuning)용 지시어 데이터셋 설계
- 데이터 포맷팅, 토큰 길이 분포 분석 및 전처리 실습
Section 2: PEFT와 QLoRA 학습 실전
- LoRA의 수학적 원리와 어댑터 랭크(Rank) 튜닝
- 4비트 양자화와 QLoRA를 통한 단일 GPU 학습 최적화
- Hugging Face SFTTrainer를 활용한 모델 학습 파이프라인
Section 3: 모델 평가, 병합 및 최적화 배포
- 검증 데이터셋 기반 Loss 모니터링 및 벤치마크 평가
- 기반 모델과 LoRA 어댑터 가중치 병합(Merge)
- GGUF 변환 및 Ollama/vLLM을 통한 사내 배포
필수 조건
- 파이썬 중급 및 딥러닝/PyTorch 기본 개념
- Hugging Face 라이브러리 사용 경험
수강 대상
- 자체 도메인 특화 언어 모델을 구축하려는 AI/ML 엔지니어
- 사내 표준 문서 서식과 스타일을 강제하는 모델을 학습시키려는 테크 리더
- 최신 PEFT 기법을 실무 프로젝트에 적용하고 싶은 데이터 과학자