딥시크(DeepSeek) & 오픈소스 모델 기반 프라이빗 온프레미스 AI 구축
강좌 소개
외부 인터넷 연결이 불가능한 폐쇄망 및 사내 인프라 환경에서 최고 수준의 추론 성능을 발휘하는 딥시크(DeepSeek-R1/V3) 및 최신 오픈소스 모델을 구축하고 운영하는 실무 가이드입니다.
MoE(Mixture-of-Experts) 아키텍처의 특성을 이해하고, 제한된 리소스에서 효율적으로 모델을 구동하기 위한 vLLM 기반 멀티 GPU 클러스터 구성, 내부 지식 연동, 사내 사설망 보안 연동을 완벽히 다룹니다.
이 강좌에서 배우는 것들
- DeepSeek-R1 및 MoE 구조 모델의 추론 특성과 하드웨어 요구조건 분석
- 폐쇄망(Air-Gapped) 환경 내 도커 및 모델 가중치 오프라인 배포
- vLLM 및 TensorRT-LLM 기반의 멀티 GPU 분산 서빙 최적화
- 사내 업무 시스템과의 안전한 내부망 API 게이트웨이 구축
교육 과정 (Curriculum)
Section 1: DeepSeek 모델 구조와 인프라 사이징
- DeepSeek-R1의 추론(Reasoning) 토큰 메커니즘과 특성
- MoE 아키텍처의 메모리 대역폭과 GPU 요구량 산정
- 오프라인 환경에서의 패키지 및 가중치 파일 준비
Section 2: 폐쇄망 배포와 고속 서빙 엔진 구성
- 오프라인 도커 컨테이너 빌드 및 사내 레지스트리 배포
- vLLM을 활용한 텐서 병렬화(TP) 및 파이프라인 병렬화(PP) 설정
- FlashAttention-2 가속화 및 KV 캐시 메모리 최적화
Section 3: 사내 시스템 연동과 안정성 운영
- 사내 LDAP/SSO 계정 인증과 결합한 API 게이트웨이 연동
- 동시 요청 부하 테스트(Locust)와 지연 시간(Latency) 튜닝
- GPU 가용성 모니터링(Prometheus/Grafana)과 장애 복구 전략
필수 조건
- 리눅스 시스템 관리 및 Docker/Kubernetes 기초
- GPU 하드웨어 및 딥러닝 인프라 기본 지식
수강 대상
- 금융, 공공, 제조 등 폐쇄망 내 자체 AI를 구축해야 하는 시스템 엔지니어
- 오픈소스 고성능 추론 모델의 인프라 최적화를 담당하는 MLOps 엔지니어
- 프라이빗 AI 인프라 구축 프로젝트의 아키텍트