경량 딥러닝 모델 최적화: ONNX 변환 및 TensorRT 가속화
강좌 소개
서버 비용을 절감하고 실시간성을 확보하기 위해 필수적인 딥러닝 모델 경량화 및 추론 가속화(Inference Acceleration) 전문 기술을 다룹니다.
프레임워크 종속성을 없애주는 개방형 표준 포맷 ONNX(Open Neural Network Exchange)로 PyTorch 모델을 내보내고, NVIDIA의 고성능 추론 엔진인 TensorRT를 활용해 레이어 융합(Layer Fusion), FP16 정밀도 변환, 커널 튜닝을 적용하여 극적인 추론 레이턴시 단축을 달성합니다.
이 강좌에서 배우는 것들
- PyTorch 딥러닝 모델의 ONNX 그래프 변환 및 정합성 검증
- ONNX Runtime을 활용한 CPU/GPU 크로스 플랫폼 추론 가속화
- NVIDIA TensorRT 엔진 빌드 및 FP16/INT8 양자화 가속
- 레이턴시(Latency) 및 스루풋(Throughput) 벤치마크 프로파일링
교육 과정 (Curriculum)
Section 1: 모델 최적화 개념과 ONNX 표준
- 추론 지연 시간(Latency)의 병목 원인과 모델 최적화 개요
- PyTorch torch.onnx.export를 활용한 계산 그래프 내보내기
- Netron 툴을 활용한 ONNX 모델 구조 시각화 및 노드 디버깅
Section 2: ONNX Runtime 기반 추론 파이프라인
- ONNX Runtime Execution Provider(CPU, CUDA) 설정
- 동적 배치 크기(Dynamic Axes) 지원 모델 변환 및 검증
- PyTorch 네이티브 추론 대비 속도 및 메모리 사용량 벤치마크
Section 3: NVIDIA TensorRT 초고속 가속 엔진
- TensorRT의 최적화 메커니즘: 레이어 융합 및 메모리 재사용
- trtexec CLI 및 파이썬 API를 통한 엔진 빌드 실습
- FP16 반정밀도 변환 및 실시간 영상 모델 5배 가속화 달성
필수 조건
- PyTorch 딥러닝 모델 학습 및 서빙 기본 지식
- NVIDIA GPU 환경
수강 대상
- 엣지 디바이스나 실시간 서버에서 초저지연 AI를 구현해야 하는 엔지니어
- 클라우드 GPU 인스턴스 비용을 최적화하려는 MLOps 엔지니어
- 딥러닝 컴파일러와 하드웨어 가속 기술을 깊이 연구하려는 개발자