클라우드 데이터 파이프라인: AWS S3, Glue & Athena 대용량 ETL
강좌 소개
아마존 웹 서비스(AWS)의 클라우드 인프라를 활용하여 서버 관리 부담 없이 페타바이트급 데이터를 처리하는 서버리스 데이터 파이프라인 구축 실무 과정입니다.
Amazon S3를 데이터 레이크 스토리지로 활용하고, AWS Glue 크롤러로 스키마를 자동 감지하며, Glue ETL(서버리스 Spark)로 데이터를 정제한 뒤, Amazon Athena로 표준 SQL을 사용해 데이터를 즉시 분석하는 엔터프라이즈 아키텍처를 완성합니다.
이 강좌에서 배우는 것들
- AWS 데이터 엔지니어링 3대 핵심 서비스(S3, Glue, Athena) 마스터
- 서버리스 아키텍처를 통한 인프라 운영 비용 및 관리 리소스 최소화
- AWS Glue 카탈로그를 활용한 중앙 집중식 메타데이터 관리
- Athena 파티셔닝 쿼리를 통한 분석 속도 향상 및 비용 최적화
교육 과정 (Curriculum)
Section 1: AWS 데이터 레이크 기초와 Amazon S3
- 클라우드 데이터 레이크의 개념과 계층 구조(Raw, Processed, Curated)
- Amazon S3 버킷 설계 원칙과 수명주기(Lifecycle) 규칙
- IAM 권한 설정 및 안전한 데이터 접근 제어
Section 2: AWS Glue를 활용한 서버리스 ETL
- AWS Glue Crawler를 활용한 S3 데이터 자동 스키마 색인
- Glue Data Catalog의 메타스토어 등록과 데이터 타입 매핑
- Glue Visual Job과 PySpark 스크립트를 통한 데이터 정제/변환
Section 3: Amazon Athena를 활용한 서버리스 쿼리
- Amazon Athena 기본 조작과 S3 Parquet 데이터 SQL 조회
- Athena 쿼리 비용 최적화: 파티션 프로젝션과 압축 포맷 적용
- S3 로그 데이터 자동 정제 및 Athena BI 대시보드 연동 종합 프로젝트
필수 조건
- AWS 계정 및 기본적인 클라우드 개념
- 기본적인 SQL 및 파이썬 문법
수강 대상
- AWS 클라우드 환경에서 데이터 인프라를 구축하려는 데이터 엔지니어
- 클라우드 기반 데이터 레이크 구축 프로젝트를 담당하는 테크 리더
- AWS 공인 데이터 엔지니어 자격증을 준비하는 학습자