NLP 기초 설명

0. NLP의 목표

: 유용한 업무 수행을 위해서 Natural Language(사람의 언어)를 컴퓨터가 처리하고 이해할 수 있도록 하는 것

 

1. NLP에 사용하는 데이터

텍스트 데이터

시계열 데이터

시퀀스 데이터

 

2. NLP에 사용하는 기본 딥러닝 모델

RNN(Recurrent Neural Network), 1D 컨브넷(1D Convnet) 등

(그 외 RNN을 보완한 다양한 모델이 있음.)

 

3. 전처리

텍스트 자료를 모았다고 해서 이를 딥러닝에 그대로 입력할 수 있는 것은 아니다. 컴퓨터 알고리즘은 수치로 된 데이터만 이해할 뿐 텍스트를 이해할 수 없기 때문이다. 따라서 텍스트를 정제하는 전처리 과정이 꼭! 필요하다. 

 

4. NLP+Deep Learning Model 응용

- 글의 주제나 책의 저자 식별하기, 스팸 메일 분류, 뉴스 기사 카테고리 분류 등 (문서분류, 시계열 분류)

- 두 문서가 얼마나 밀접하게 관련있는지 추정하기 (시계열 비교)

- 문장 변환(영어->프랑스어) (Sequence to sequence)

- 트윗이나 영화 리뷰가 긍정적인지 부정적인지 분류하기 (감정분석)

- 어떤 지역의 최근 날씨 데이터가 주어졌을 때 향후 날씨 예측하기 (시계열 예측)