[케라스 창시자에게 배우는 딥러닝], [모두의 딥러닝] 참고
1. 미분, 순간 변화율, 기울기
실수 x를 새로운 실수 y로 매핑하는 연속적이고 매끄러운 함수(미분가능한) f(x)=y 가 있다.
예를 들어 아래 2차함수 그래프가 있다고 가정해보자.
*미분가능하다 : 변화율을 유도할 수 있다는 의미로 연속적이고 매끄러운 함수.
x축에 있는 한 점 a에 대응하는 y값은 $a^{2}+b$가 된다. 이때 a가 오른쪽이나 왼쪽으로 조금씩 이동한다고 생각해보자. 그러면 y도 조금씩 변화할 것이다.
좀 더 상상력을 발휘해 이번엔 a가 아주아주 미세하게 "0에 가까울 만큼" 움직였다고 생각해보자. 그러면 y값도 역시 매우 미세하게 변화를 할 텐데, 이번엔 너무 미세해서 실제로 움직이는게 아니라 방향만 드러내는 정도의 순간적인 변화만 있을 것이다.
이 순간의 변화를 놓고 순간 변화율이라는 이름을 붙였다.
순간 변화율은 어느 쪽을 향하는 방향성을 지니고 있으므로, 이 방향을 따라 직선을 길게 그려주면 그래프와 맞닿는 접선이 그려진다. 이 선이 바로 이 점에서의 기울기가 된다.
미분을 한다는 것은 쉽게 말해 이 "순간 변화율"을 구한다는 것이다.
어느 순간에 어떤 변화가 일어나고 있는지를 숫자로 나타낸 것을 미분 계수라고 하며, 이 미분 계수는 곧 그래프에서의 기울기를 의미한다.
이 기울기는 앞으로 그래디언트(gradient)를 이해하는데 중요하다.
바로 기울기가 0일 때 (즉, x축과 평행한 직선으로 그어질 때)가 바로 그래프에서 최솟값인 지점이 되기 때문이다.
그리고 딥러닝을 할 때 이 최솟값을 찾아내는 과정이 매우 중요함!
직선 AB의 기울기를 A와 B 사이의 '평균 변화율'이라고도 부른다. 하지만 우리에게 필요한 것은 '순간 변화율'이다.
순간 변화율은 x의 증가율이 0에 가까울 만큼 아주 작을 때의 순간적인 기울기를 말하므로 평균 변화율에 극한(limit)기호를 사용해 아래와 같이 나타낸다.
| 딥러닝 공부 과정 중 자주 만나게 되는 중요한 미분의 성질 | ||
| 식 | 조건 | 미분 값 f`(x) |
| f(x) = a | a가 상수 일 때 | 0 |
| f(x) = x | 1 | |
| f(x) = ax | a가 상수 일 때 | a |
| f(x) = $$x^a$$ | a가 자연수일 때 | $$ax^{a-1}$$ |
- 미분 값은 x가 바뀜에 따라 f(x)가 어떻게 바뀔지 설명해준다.
- f(x)의 값을 감소시키고 싶다면 x를 변화율의 방향과 반대로 조금 이동해야 한다.
- 딥러닝 역전파 미분 수식에는 편미분, 합성함수의 미분법 등의 이해가 필요하다.
유튜브 수악공식님의 미분법 공식 설명 - 합성함수의 미분법 (16분 부터)
'딥러닝 (Deep Learning) > 딥러닝 기초' 카테고리의 다른 글
| 신경망에서 미분이 필요한 이유 3 : 역전파 알고리즘 (0) | 2021.04.26 |
|---|---|
| 신경망에서 미분이 필요한 이유 2 : gradient descent (경사하강법), learning rate(학습률) (0) | 2021.04.26 |
| 신경망 - 가중치(weight), 랜덤 초기화(random initialization), 훈련 루프(training loop) (0) | 2021.04.24 |
| 텐서 연산 기초 공부하기 (0) | 2021.04.24 |
| 신경망의 데이터 표현 3 - tensor & data 종류와 예시 (0) | 2021.04.24 |