파이썬을 활용한 자연어 처리

ㆍ NLP의 시작과 필요성에 대해 알아보고 NLP library를 설치합니다.

ㆍ 정규표현식과 토큰링의 개념을 이해하고 실습합니다.

ㆍ N그램과 지프의 법칙이 무엇인지 학습하고 실습을 진행합니다.

ㆍ Stop words를 제거한 후에 문자 단위 인코딩 및 어간 추출을 실행하고 텍스트를 깨끗이 한 후 토크나이징을 진행합니다.

ㆍ 형태소 분석의 개념을 살펴보고 설치해야 할 툴을 보면서 샘플링 방법에 대해 확인합니다.

ㆍ 빈도수 분석과 차원 축소의 정의를 이해하고 연관성을 찾아봅니다.

ㆍ TF-IDF의 이론이 무엇인지 알아보고 TF-IDF의 영어 문장과 신문을 활용하여 분석합니다.

ㆍ 시나리오 워드 클라우드와 Masked 워드 클라우드의 개념을 이해하고 두 개념을 비교합니다.

ㆍ 원하는 정보를 추출할 시, 어떻게 해야 하는지 또 Named Entity 감지는 어떻게 진행되는지 살펴봅니다.

ㆍ 계층형 군집분석에 대해 전반적으로 이해합니다.

ㆍ k-평균이 무엇인지, 또 텍스트 군집을 어떤 식으로 감지하는지 알아봅니다.

ㆍ 로지스틱 회귀분석으로 분류하는 법과 파이프라인 사용 방법에 대해 학습합니다.

ㆍ 신한은행 이벤트를 감지하고 movie_나이브베이즈에 대해 확인합니다.

ㆍ JSD 텍스트 거리의 개념에 대해 이해하고 JSD를 활용하여 텍스트 거리를 구합니다.