강화학습(Reinforcement Learning) 입문: Q-Learning부터 DQN까지
강좌 소개
정답 데이터 없이 환경과의 상호작용과 보상(Reward)을 통해 최적의 행동 정책을 스스로 찾아나가는 강화학습(Reinforcement Learning)의 핵심 개념과 알고리즘을 배웁니다.
마르코프 결정 과정(MDP), 벨만 방정식의 수학적 기초부터 Q-Learning 테이블 기반 학습, 그리고 딥러닝을 결합하여 고차원 상태를 제어하는 Deep Q-Network(DQN)까지 체계적으로 코딩하며 완성합니다.
이 강좌에서 배우는 것들
- 강화학습의 5대 요소(상태, 행동, 보상, 정책, 가치) 완벽 이해
- 벨만 최적 방정식(Bellman Equation)의 수학적 원리 이해
- 테이블 기반 Q-Learning 알고리즘 바닥부터 구현
- PyTorch 기반 DQN(Deep Q-Network) 구축 및 카트폴(CartPole) 게임 정복
교육 과정 (Curriculum)
Section 1: 강화학습의 기초와 마르코프 결정 과정(MDP)
- 강화학습의 기본 개념과 다른 머신러닝 패러다임과의 차이
- 에이전트-환경 루프와 마르코프 결정 과정(MDP) 정식화
- 가치 함수(Value Function)와 벨만 기대/최적 방정식
Section 2: 테이블 기반 강화학습: 몬테카를로 & TD
- 몬테카를로(Monte Carlo) 예측과 경험 기반 가치 갱신
- 시간차 학습(Temporal Difference: TD)과 SARSA 알고리즘
- Q-Learning의 오프-폴리시(Off-policy) 특성과 입실론 탐욕(ε-greedy) 정책
Section 3: 심층 강화학습: Deep Q-Network(DQN)
- 차원의 저주와 신경망을 가치 함수 근사기로 활용하는 아이디어
- DQN의 2대 혁신: 경험 리플레이(Experience Replay)와 타깃 네트워크
- Gymnasium CartPole 환경에서 균형 잡는 AI 에이전트 훈련 프로젝트
필수 조건
- 파이썬 중급 및 PyTorch 딥러닝 기초
- 기초 확률 및 선형대수 개념
수강 대상
- 알파고와 자율주행의 핵심인 강화학습의 원리를 배우려는 연구원
- 게임 AI, 로봇 제어, 자율 에이전트 알고리즘을 개발하려는 엔지니어
- 머신러닝의 3대 축 중 하나인 강화학습을 포트폴리오에 추가하려는 학생