초보자를 위한 NLP 서비스 구현

ㆍ 금융 데이터 분석과 활용에서의 최적의 도구인 파이썬의 특징을 알아봅니다.

ㆍ 파이썬 분석 환경 구축을 위해 PC아나콘다를 설치해 보고 분석 환경을 살펴봅니다.

ㆍ 쥬피터 노트북의 사용법을 알아보고 이해합니다.

ㆍ 변수와 값, 연산자의 개념에 대해 이해하고 실습합니다.

ㆍ 자료구조에 대해 살펴보고 프로그래밍과 분석의 기본 내용을 이해합니다.

ㆍ 기본 자료구조의 또 다른 유형인 세트와 딕셔너리를 학습하고 기본 자료 구조를 총정리합니다.

ㆍ 함수의 정의와 그중에서도 내장함수, 사용자 정의 함수의 개념을 학습합니다.

ㆍ 모듈과 패키지의 개념을 이해하고 설치해 봅니다.

ㆍ 문자열의 개념과 처리 방법을 살펴보고 문자열과 많이 사용되는 정규표현식을 알아봅니다.

ㆍ 프로그래밍에서 제일 중요한 부분 중 하나인 조건문의 중요성을 파악합니다.

ㆍ 반복문이 무엇인지 알아보고 가능한 작업을 살펴봅니다.

ㆍ 파일 입출력에 대해 파악하고 실습합니다.

ㆍ 데이터를 이해하는 방법을 살펴보고 활용합니다.

ㆍ 예외 처리의 개념을 이해하고 예외 처리하는 법을 알아봅니다.

ㆍ 파이썬 기본 프로그래밍 내용을 총정리하고 재파악합니다.

ㆍ 파이썬 기본 프로그래밍 내용을 사용하여 실습합니다.

ㆍ 빅데이터를 위한 파이썬의 분석 환경을 살펴봅니다.

ㆍ 파이썬을 활용하기 위한 기초 지식을 리뷰합니다.

ㆍ 수치 계산에 특화된 Numpy의 개념을 이해하고 활용합니다.

ㆍ array 연산에 대해 파악을 하고 실습합니다.

ㆍ array를 처리하는 방법인 슬라이싱과 인덱싱에 대해 알아봅니다.

ㆍ Numpy를 실습하고 총 내용을 재정리합니다.

ㆍ Pandas에 대해 알아보고 자료구조를 살펴봅니다.

ㆍ Pandas의 자료구조인 Series의 개념을 알아보고 생성합니다.

ㆍ DataFrame을 생성하고 활용법을 학습합니다.

ㆍ Series로 DataFrame을 만들고 CSV나 엑셀을 저장하고 읽어봅니다.

ㆍ 열, 행을 삭제하고 replace를 통한 문자열을 변경해 보고 함수를 적용해 봅니다.

ㆍ 데이터를 그림으로 표현하는 시각화에 대해 알아봅니다.

ㆍ Matplotlib을 이용해 Scatter plot 시각화에 대해 살펴봅니다.

ㆍ Scatter plot 외에 다양한 시각화를 배워봅니다.

ㆍ NLP의 시작과 필요성에 대해 알아보고 NLP library를 설치합니다.

ㆍ 정규표현식과 토큰링의 개념을 이해하고 실습합니다.

ㆍ N그램과 지프의 법칙이 무엇인지 학습하고 실습을 진행합니다.

ㆍ Stop words를 제거한 후에 문자 단위 인코딩 및 어간 추출을 실행하고 텍스트를 깨끗이 한 후 토크나이징을 진행합니다.

ㆍ 형태소 분석의 개념을 살펴보고 설치해야 할 툴을 보면서 샘플링 방법에 대해 확인합니다.

ㆍ 빈도수 분석과 차원 축소의 정의를 이해하고 연관성을 찾아봅니다.

ㆍ TF-IDF의 이론이 무엇인지 알아보고 TF-IDF의 영어 문장과 신문을 활용하여 분석합니다.

ㆍ 시나리오 워드 클라우드와 Masked 워드 클라우드의 개념을 이해하고 두 개념을 비교합니다.

ㆍ 원하는 정보를 추출할 시, 어떻게 해야 하는지 또 Named Entity 감지는 어떻게 진행되는지 살펴봅니다.

ㆍ 계층형 군집분석에 대해 전반적으로 이해합니다.

ㆍ k-평균이 무엇인지, 또 텍스트 군집을 어떤 식으로 감지하는지 알아봅니다.

ㆍ 로지스틱 회귀분석으로 분류하는 법과 파이프라인 사용 방법에 대해 학습합니다.

ㆍ 신한은행 이벤트를 감지하고 movie_나이브베이즈에 대해 확인합니다.

ㆍ JSD 텍스트 거리의 개념에 대해 이해하고 JSD를 활용하여 텍스트 거리를 구합니다.

ㆍ 챗봇의 정의와 이를 활용한 사례들은 어떤 것들이 있는지 알아봅니다.

ㆍ Watson Assistant 아키텍처의 프로세스를 이해하고 다양한 종류의 Conversation service를 활용하여 설계합니다.

ㆍ intent, entity, dialog를 이용하여 설계하고 Watson chatbot 을 시연합니다.

ㆍ 아나콘다 및 Tensorflow를 설치하여 실습을 진행하고 계산 그래프를 활용하여 기초 코딩을 실행합니다.

ㆍ Jpype와 Konlpy를 설치 후 형태소와 TF-IDF를 분석합니다.

ㆍ Bag of words의 한계와 Word를 vector로 바꾸기 위한 아이디어가 무엇인지 알아보고 Word2Vec의 간단한 이론을 살펴봅니다.

ㆍ 텍스트 유사도와 거리 및 Doc2Vec의 연관성에 대해 알아봅니다.

ㆍ 토픽 추출의 개념을 이해하고 BBC News의 토픽 모델링을 파악합니다.

ㆍ TF-IDF를 활용한 로지스틱 회귀와 결합한 분류기를 통해 텍스트 분류 문제의 해결법을 이해합니다.

ㆍ 랜덤 포레스트, 나이브 베이즈, TF-IDF와 Word2Vec 를 이용한 텍스트 분류법을 실습합니다.

ㆍ 상담데이터를 분류한 후 영화 시나리오를 생성합니다.

ㆍ 형태소 분석기와 CNN으로 상담데이터를 분류합니다.

ㆍ Watson을 흉내 낸 챗봇 통신 모델에 대해 학습합니다.