[패캠환급반] 딥러닝 인강 100% 환급 패스트캠퍼스 챌린지 29일차
2021. 10. 04 월요일 29일차
3-6-1 Batch, Stochastic, Mini-batch Gradient Descent Methods - Theory
오늘의 강의는 mini-batch의 사이즈를 어떻게 선택할 수 있는가, 어떤 미니 배치 사이즈를 가져야 효율적인 연산을 할 수 있는가? 에 대한 강의였다.
강의 제목에도 batch, stochastic, mini-batch gradient descent가 나와있는데 이 각각의 의미는 다음과 같다.
batch gradient descent: mini-batch = dataset size일 때 mini-batch에 대해 gradient를 연산하고 세타를 최적화해간다.
stochatic gradient descent: mini-batch = 1일 때 mini-batch에 대해 gradient를 연산하고 세타를 최적화해간다.
mini-batch gradient descent: mini-batch = n일 때 mini-batch에 대해 gradient를 연산하고 세타를 최적화해간다.
각각의 방법이 조금씩 차이가 있는데, '어떤 방법이 가장 좋다' 라는 것은 없다. 강사님께서 강의에서도 말씀해주셨지만, 각각의 방법이 최적의 효과를 만들어주는, 잘 맞는 데이터가 있고, 잘 안 맞는 데이터가 있다. 이 방법을 적절하게 쓰는 방법을 논한 논문들이 많아서 사용하고자하는 데이터의 특성을 파악하고 그 특성에 맞게 배치사이즈를 선택하면 좋을 것이라고 말씀하셨다.
하지만 그래도 가장 많이 쓰이는 것은 있다. mini-batch 방법이 가장 많이 쓰인다.
batch 와 stochastic 방법을 읽어봤다면 알 수 있지만, 그 두 방법은 최대와 최소의 mini-batch size를 갖는다. 각각의 장점만을 결합해서 사용한다면 mini-batch가 가장 만만하게 쓰기 좋다. (그렇다고 mini-batch가 batch와 stochastic의 장점만을 모은 것은 아니다. 절충안 정도랄까. 내가 이해한 것은 그렇다.)
나도 지금 연구에서 mini-batch를 사용하고 있는데, batchsize가 이상하게 조절이 안돼서 좀 더 늘려보려고 하는데, 그냥 프로그래밍적으로 배치 사이즈를 조절하려고 애쓰지말고, 데이터의 특성에 맞게 배치사이즈를 조절해보려고 노력해봐야겠다.
오늘의 딥러닝 공부 끝! 배치사이즈 논문 읽으러가야지..
▼패캠 강의 리스트▼
*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.*
#패스트캠퍼스, #패캠챌린지 #직장인인강 #직장인자기계발 #패스트캠퍼스후기 #수학적으로_접근하는_딥러닝_올인원_패키지_Online #대학원생공부 #인공지능독학 #머신러닝 #딥러닝