구글 빅쿼리(BigQuery) 입문: 대용량 클라우드 데이터 웨어하우스 분석
강좌 소개
현대 기업들이 가장 선호하는 서버리스 클라우드 데이터 웨어하우스인 Google Cloud BigQuery를 활용하여 페타바이트급 대용량 데이터를 고속 분석하는 실무 코스입니다.
빅쿼리의 컬럼형 스토리지(Capacitor)와 분산 쿼리 엔진(Dremel) 구조를 이해하고, 파티셔닝(Partitioning) 및 클러스터링(Clustering)을 적용하여 쿼리 비용을 수십 배 절감하는 실전 노하우를 습득합니다.
이 강좌에서 배우는 것들
- 구글 클라우드 BigQuery의 서버리스 분산 처리 아키텍처 이해
- 수억 건의 퍼블릭 빅데이터셋 고속 쿼리 실습
- 파티션과 클러스터링을 활용한 쿼리 처리량 및 과금 비용 최적화
- BigQuery ML을 활용하여 SQL만으로 머신러닝 예측 모델 구축
교육 과정 (Curriculum)
Section 1: BigQuery 아키텍처와 기본 조작
- 전통적 데이터베이스 vs 클라우드 DW BigQuery의 구조 비교
- GCP 콘솔 환경 둘러보기와 데이터셋, 테이블, 뷰 생성
- BigQuery 퍼블릭 데이터셋(GitHub, Wikipedia) 탐색 쿼리
Section 2: 쿼리 최적화와 비용 절감 전략
- 빅쿼리 과금 체계: 스캔된 데이터 바이트와 슬롯(Slot)의 이해
- 시간 단위 파티셔닝(Partitioning) 테이블 설계와 프루닝
- 클러스터링(Clustering)을 활용한 정렬 및 스캔 비용 절감
Section 3: BigQuery ML과 고급 분석 기능
- BigQuery ML(BQML)로 SQL 문장 몇 줄로 회귀/분류 모델 훈련
- ARRAY와 STRUCT 복합 데이터 타입 처리 및 UNNEST 활용
- 실전 이커머스 방문자 로그 데이터 기반 전환율 예측 프로젝트
필수 조건
- 기본적인 SQL 문법 지식
수강 대상
- 대용량 데이터를 다루어야 하는 클라우드 데이터 분석가
- 구글 클라우드 플랫폼(GCP) 기반 데이터 파이프라인을 구축하려는 엔지니어
- 빅데이터 쿼리 비용을 절감하고 최적화하려는 실무자