[패캠환급반] 딥러닝 인강 100% 환급 패스트캠퍼스 챌린지 19일차

2021. 09. 24 금요일 19일차

 

3-1-7 Learning Rate

오늘은 사진이 어둡군

 

오늘의 강의는 Learning Rate(학습률)에 대한 강의였다.

학습률(learning rate)은 많이 들어왔고, 어려운 개념이 아니라서 약간 만만하게 생각하고 들었다.

일단, 이렇게 Learning Rate에 대해서만 한 강의로 들은 것은 처음이다. 보통 Gradient Descent 강의를 하면서 최적의 θ를 찾는데 얼만큼 빠르게 찾을 것인가 혹은 최적의 θ를 찾는데 몇 걸음을 걸어갈 것인가 (보폭설정) 등으로 그냥 포함된 것처럼 설명하고 넘어가신다.

그런데 이렇게 한 강의로 빼셔서 20분 정도 강의를 해주셔서 정말 꼼꼼하게 준비해주신 것을 느낄 수 있었다.

 

언제 배웠는지 까먹었지만 파형을 배울 때였나..(물리) 미분을 배울 때였나..(수학) 진동과 수렴, 그리고 발산을 배운다.

그 개념이 여기서 아주 잘 활용된다.

learning rate가 매우 작으면 아주 조금씩 움직여서 최적의 θ 포인트를 찾는데 시간이 오래 걸리지만, 점점 수렴하는 모양으로 찾아갈 수 있다.

learning rate가 조금 크면 성큼성큼 움직여서 최적의 θ 포인트를 찾을 때까지 진동하는 모습을 보이며 최적의 포인트를 찾아간다.

learning rate가 꽤 크면 작은 그래디언트를 보이면 점을 찾아서 발산해가면서 최적의 θ 포인트에서 아주 멀어질 수 있다.

 

뒤에서 θ1과 θ0의 학습 속도차이에 따라서 learning rate에 따라 이 차이가 어떻게 보이는지도 설명해주셨다.

이 부분은 100% 완벽하게 이해하지는 못했다.

하지만 파라미터가 많으면 많을 수록 learning rate에 따라 학습에 영향이 있을 수 있다는 것을 알았다.

 

아직도 배울게 너무 많다...

 

▼패캠 강의 리스트▼

https://bit.ly/37BpXiC

 

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.*

---

#패스트캠퍼스, #패캠챌린지 #직장인인강 #직장인자기계발 #패스트캠퍼스후기 #수학적으로_접근하는_딥러닝_올인원_패키지_Online #대학원생공부 #인공지능독학 #머신러닝 #딥러닝