자연어 처리(NLP) 입문: 토큰화부터 워드 임베딩까지
강좌 소개
NCS 인공지능 빅데이터 분석 기준에 의거하여, 비정형 텍스트 데이터를 컴퓨터가 연산할 수 있는 수치 벡터로 변환하는 자연어 처리(Natural Language Processing)의 근본 원리를 다룹니다.
한국어 형태소 분석기(KoNLPy: MeCab, Okt)와 최신 서브워드 토크나이저(BPE, WordPiece), 그리고 단어 간의 의미적 유사성을 공간상에 투영하는 Word2Vec, GloVe, FastText의 알고리즘 원리를 실습과 함께 익힙니다.
이 강좌에서 배우는 것들
- 자연어 전처리 파이프라인(정제, 불용어 제거, 형태소 분석) 마스터
- 서브워드 토크나이징(BPE, SentencePiece)의 동작 메커니즘 이해
- Word2Vec(Skip-gram, CBOW)의 수학적 원리와 임베딩 공간 시각화
- 한국어 특화 단어 유사도 검색 및 텍스트 분류 베이스라인 구축
교육 과정 (Curriculum)
Section 1: 텍스트 전처리와 토큰화
- 자연어 처리의 도전 과제와 한국어 언어학적 특성
- KoNLPy(Okt, Mecab)를 활용한 형태소 분석 및 품사 태깅
- 정규표현식을 활용한 노이즈 데이터 정제 및 불용어 사전 구축
Section 2: 텍스트 수치화와 카운트 기반 임베딩
- Bag of Words(BoW)와 DTM(문서-단어 행렬) 구축
- TF-IDF(단어 빈도-역문서 빈도)의 원리와 핵심 키워드 추출
- 코사인 유사도(Cosine Similarity)를 활용한 문서 간 유사도 분석
Section 3: 분산 표현(Distributed Representation)과 임베딩
- 희소 표현(One-hot)의 한계와 밀집 벡터(Dense Vector)의 등장
- Word2Vec의 Skip-gram과 CBOW 학습 원리 및 벡터 연산 실습
- FastText의 서브워드 처리로 OOV(신조어/오타) 문제 극복하기
필수 조건
- 파이썬 기초 문법
수강 대상
- LLM 이전에 자연어 처리의 기초 체력을 확실히 다지고 싶은 입문자
- 한국어 텍스트 분석 및 검색 엔진을 구축하려는 데이터 분석가
- 자연어 처리 알고리즘의 원리를 수학과 코드로 이해하고 싶은 학습자