비즈니스 A/B 테스트 기획 및 가설검정 통계학 실무
강좌 소개
실리콘밸리와 유니콘 스타트업이 제품을 개선하고 성장시키는 핵심 엔진인 A/B 테스트의 기획부터 통계적 검증까지 전 과정을 다룹니다.
가설 수립, 최소 표본 크기(Sample Size) 산정, t-test, 카이제곱 검정, p-value와 통계적 유의수준의 정확한 해석을 배웁니다. 나아가 조기 종료의 오류(Peeking Problem) 등 현업에서 자주 범하는 통계적 함정을 피하고 올바른 의사결정을 내리는 법을 체득합니다.
이 강좌에서 배우는 것들
- 비즈니스 가설을 검증 가능한 A/B 테스트 지표로 설계하는 능력
- 필요한 최소 샘플 사이즈와 테스트 기간을 사전에 산정하는 역량
- t-test와 카이제곱 검정을 파이썬 코드로 직접 수행하고 해석
- 조기 피킹, 노벨티 효과 등 실무에서 발생하는 통계적 함정 방어
교육 과정 (Curriculum)
Section 1: A/B 테스트의 기초와 가설 수립
- 인과관계 vs 상관관계: 왜 A/B 테스트가 필요한가?
- 명확한 귀무가설(H0)과 대립가설(H1) 수립 프레임워크
- 핵심 지표(Primary Metric)와 가드레일 지표(Guardrail Metric) 설정
Section 2: 가설검정 통계학과 샘플 사이즈 산정
- 1종 오류(알파)와 2종 오류(베타), 그리고 통계적 검정력(Power)
- 테스트 시작 전 최소 필요 표본 수(Sample Size) 계산 실습
- 연속형 지표 검정(t-test)과 비율 지표 검정(카이제곱 검정)
Section 3: 실전 A/B 테스트 분석과 안티패턴 방어
- p-value의 올바른 해석과 95% 신뢰구간(Confidence Interval)
- 자주 범하는 실수: 피킹 문제(Peeking)와 다중 검정(Multiple Testing)
- 이커머스 결제 버튼 리디자인 실전 A/B 테스트 분석 및 결과 보고서
필수 조건
- 기초 파이썬 또는 스프레드시트 활용 능력
- 기초 통계 개념
수강 대상
- 기능 변경이나 마케팅 카피의 효과를 검증하려는 프로덕트 매니저(PM)
- 데이터 기반으로 제품 성장(Growth) 실험을 리드하는 데이터 분석가
- A/B 테스트 결과를 논리적으로 보고해야 하는 마케터/기획자