'표현(representation)을 학습하다' 의미

[케라스 창시자에게 배우는 딥러닝] 참고

 

representation learning

 

머신러닝과 딥러닝의 핵심 문제는 '의미 있는 데이터로의 변환' 이다.

다시 말하면 입력 데이터를 기반으로 expectation(기댓값, 기대출력)에 가깝게 만드는 유용한 표현(representation)을 학습(learning)하는 것이다.

 

여기서 표현이란..

데이터를 인코딩(encoding)하거나 묘사하기 위해 데이터를 바라보는 다른 방법을 말한다.

예를 들어 컬러 이미지는 RGB format(빨,녹,파)이나 HSV format(색상,채도,명도)으로 인코딩 될 수 있으며, 이들은 같은 데이터의 두 가지 다른 표현이다. 

상황에 따라 A표현으로는 해결하기 힘든 문제가 B표현으로는 쉽게 해결될 수 있다.

예를들어 '이미지에 있는 모든 빨간색 픽셀을 선택'하는 문제는 RGB 포맷에서는 쉽고, '이미지의 채도를 낮추는' 문제는 HSV포맷이 더 쉽다. 

 

머신러닝 모델은 입력 데이터에서 적절한 표현을 찾는 것이다. 이런 데이터 변환은  분류 작업 같은 문제를 더 쉽게 해결할 수 있게 한다.

머신러닝에서의 학습(Learning)이란 더 나은 표현을 찾는 자동화된 과정이다.

모든 머신 러닝 알고리즘은 주어진 작업을 위해 데이터를 더 유용한 표현으로 바꾸는 이런 변환을 자동으로 찾는다. 

머신러닝에서 표현을 찾는 과정은 좌표 변환일 수도 있고, 선형 투영(linear projection, 정보를 잃을 수 있음), 이동(translation), 비선형 연산(x>0 등) 등이 될 수도 있다. 

잘 표현된 방법을 찾기 위해서는 가설 공간(hypothesis space)라 부르는 미리 정의된 연산의 모음들을 자세히 조사하는 것 뿐이다. 기술적으로 말하면 머신러닝은 가능성 있는 공간을 사전에 정의하고 피드백 신호의 도움을 받아 입력 데이터에 대한 유용한 변환을 찾는 것이다.

 

딥러닝은 머신 러닝의 특정한 한 분야로 연속된 층(layer)에서 점진적으로 의미 있는 표현을 배우는 데 강점이 있고, 데이터로부터 표현을 학습하는 새로운 방식이다. deep의 의미는 연속된 층으로 표현을 학습한다는 개념을 나타낸다.

데이터로부터 모델을 만드는 데 얼마나 많은 층을 사용했는지가 그 모델의 깊이가 된다. 그렇기에 딥러닝을 층 기반 표현 학습(layered representations learning) 또는 계층적 표현학습(hierarchical representations learning)이라 부를 수도 있다.