실습자료로 실습해보기강의자료 바탕으로 필기강의 들으면서 필기한 내용가장 인상깊었던 강의. batch size별 method를 정리해주셔서 이해가 잘 됐다.
30일간의 환급 챌린지가 끝났다. 하루 10~20분 정도의 강의를 주말 없이 매일 듣고 매일 후기를 남기는 챌린지였다.
힘들다면 힘들었지만, 그렇게 많이 힘들지는 않았다. 일단 강의 시간이 길지 않아서 부담 없이 들을 수 있었고, 후기를 남기는 것도 강의가 어려웠으면 어려웠다, 이해하기 힘들었다. 반만 이해된 것 같다. 등등 자유롭게 써도 괜찮았기 때문에 정말 부담없이 임했던 것 같다.
힘들었던 점은 매일매일 썼다는 점과 500자라는 분량 채우기가 좀 힘들었었다. 자세한 내용은 아래에서 더 적도록 하겠다.
매일 들으면서 최종 후기에는 어떤 내용을 쓸까 고민해봤는데, 인터뷰 형식으로 쓰면 생각도 정리되고, 챌린지를 시작하려고 고민하고 있는 사람도 도움을 더 잘 받을 수 있지 않을까해서 인터뷰 형식으로 적어본다.
이 강의를 듣게 된 이유?
환급 챌린지를 진행하는 강의는 매우 많았다. 딥러닝, 파이썬, C언어 등등..
평소 실력이 부족하다 느꼈던 컴퓨터공학 전반에 대한 강의와 C언어/C++, 파이썬 같은 기초적인 것을 배울지,
드로잉 같은 취미를 배울지,
머신 러닝관련 강의로 코딩, DB활용법 등등 중에서 어떤 걸 들을지 많이 고민했다.
패캠 환급반은 (세전) 전액환급이었기에 가장 비싼 걸 들어보자. 하는 마음이 컸다.
처음에는 후기를 남길 때 찍을 사진이 많아보이는 드로잉 클래스를 들으려고 했다.
계속 고민을 하다가 인공지능을 공부하는 대학원생으로서 수학이 너무 뒤처져서 안되겠다! 하고 챌린지 마감 당일 밤 11시에 급하게 이 수학 강의를 결제해버렸다.
강의를 매일 들을 수 있던 나만의 팁?
사실 강의를 매일 듣는 것은 힘들었다.
내가 특별히 성실해서, 자기관리를 잘하는 사람이라 강의를 꼬박꼬박 잘 들은 것은 아니다.
특히 추석 때 할머니댁에서 3일을 지내야해서 혹시나 못 할까봐 걱정을 많이 했다.
팁은! 시간을 정해두고 하면 나름 수월하다.
처음에는 알람도 맞춰두고 기상시간도 맞춰보고 하면서 좀 힘들 수 있다. 하지만 적응되니 괜찮더라.
나도 한 일주일간은 시간을 맞추지 않고 어느 시간이 좋을까 고민하면서 그냥 내 패턴에 강의듣기를 우겨넣어봤다.
아침 기상시간이 일정하지 않아서 밤 8시~11시 사이가 괜찮았다.
디폴트는 8시로 해두고, 8시에 랩미팅이나 다른 일이 있으면 11시까지 밀려나기도 했다.
그래도 기준 시간이 있다보니 꽤 잘 지킬 수 있었다.
강의를 들은 후 바뀐 점?
나는 패캠 강의를 6개정도? 결제했다. 그렇지만 다 안 듣고 있다.
패캠 홈페이지에 들어오는 것도 귀찮고.. 집중하는 것도 귀찮았다. 또 그만큼 시간이 없을 때도 있었다.
그런데 이 챌린지를 하면서 그 귀찮음들을 극복한 것 같다.
극복을 하고 나니 이게 생각보다 쉬운 일이었구나. 하는 생각도 들고 강의를 들었을 때 시간이 그렇게 많이 소요되지 않아서 전보다 가벼운 마음으로 공부를 할 수 있었다.
유튜브를 보면 10분이 1시간이 되듯, 공부도 10분만으로 시작해서 1시간이 될 수 있다.
패캠 챌린지를 시작할 때 공부를 조금씩이라도 해서 습관화하자! 라는 글을 읽었는데, 정말 이제는 패캠을 안 들으면 뭔가 불안하다.
좋은 건지 안 좋은건지 모르겠지만, 이 불안감이 공부의 원동력이다.
강의 퀄리티? 이게 진짜 십몇만원대의 값어치를 하는지?
이 질문은 내가 강의를 살 때마다 품는 궁금증이다.
일단, 그만한 값어치가 있다.
혹자들은 유튜브에 널리고 깔린게 강의영상이다. 그거 좀 찾아보고 혼자 공부하면 되지 왜 엄한데 돈을 저렇게 많이 쓰냐. 하기도 하고, 패스트캠퍼스가 광고를 많이하다보니 그냥 안좋게 보기도 한다.
그치만 나는 이 돈만한 값어치가 있다고 생각한다. (사람들이 많이 샀으니까 광고를 그렇게 많이할 돈이 있겠지...)
유튜브를 찾아보면 강의가 많은 건 사실이다. 교수님들도 강의영상 찍으시고, 외국 대학교들의 강의도 볼 수 있고, 특히 대학원생들이 많이 강의 해준다.
그런데, 그 강의들을 들으면서 계속 부족함을 느꼈다. 기본 용어들부터 다 아는 것을 전제로 하고 강의를 진행하신다. 아니면 그냥 대충 설명해주신다.
gradient란? 기울기. 이런식으로. 그리고 바로 gradient descent 로 들어가서 θ를 최적의 파라미터로 업데이트시켜버리신다. 더 이상의 설명이 없으니 아무것도 모르는 나는 그냥 외워버린다.
(이해를 돕자면 함수의 극한을 배우지 않고 미분을 알려주시고 도함수를 알려주시는 느낌..?)그런데! 이 강의에서는 정말 차근차근 하나하나 알려주신다. gradient가 뭔지도 알려주시고, 학습이 어떻게 진행되는지도 알려주시고, 다 알려주신다.이런 강의도 유튜브를 찾아보거나 책을 찾아보면 무료 혹은 더 저렴한 가격으로 할 수 있다 라고 하신다면 이 강의를 듣는 건 내 시간을 아낀 비용이라고 말하고 싶다.
다른 강의 사이트와 비교한다면?
나는 공대생으로 4년, 그리고 대학원생으로 반 학기를 살아왔다. 자랑아닌 자랑이지만 인강 사이트들을 많이 알아봤고, 들어봤다. (전공수업은 안 듣고 맨날 다른걸로 보충하기..) 역시 돈을 내면 수업에서 못알아들었던 부분들도 자세히, 그리고 친절히 설명해주셔서 좀 더 쉬워진다. 마치 학원의 효과랄까?
--여담--
고1때까지 학원을 안 다니다가 고2때 다녔는데 진짜 학교 수업하고는 다른 수업이더라. 왜 학원을 다니는지, 왜 학원을 다니고 성적이 오르는지 단 번에 알았다. 다니기 시작하고 수학 성적이 60 -> 90으로 수직 상승했었다. 그 후부터 나는 사교육의 힘을 믿는다..
----------
인프런, 유튜브, 코드잇 등을 했었다. 그 중 가장 좋았던건 코드잇이다. 컴공기초이론을 들었었는데 진짜 사소한거(코딩에서 띄어쓰기를 어떻게하는지, 코드 예의? 부터 시작해서 용어 설명을 다 해주셨었다) 다 알려주셔서 너무 좋았다.
이번 패캠 강의도 정말 자세하게 설명해주셔서 너무 좋았다.
교수님께 여쭤봐도 그냥 몰라도 된다는거, 그냥 넘어가라는것이 많았는데, 이런거 저런거 다 알려주셔서 더 이해가 잘되었다. 그냥 내 성격일지도 모르겠는데 사소한 것 하나까지도 궁금해하는 사람이라면 유료 강의 듣는 거 정말 추천한다.
생활비가 부족하더라도 환급반이니까 부담이 좀 적지 않을까하여 모두에게 추천하고 싶다.
인프런이나 유튜브 같은 다른 플랫폼이 별로라는 것은 아니다! 둘 다 양질의 강의 컨텐츠가 있고, 무료 컨텐츠도 잘 되어있다. 그런데 인프런은 가격대가 저렴하게 구성되어있어서 그런건지.. 긴 강의가 없다. 챕터가 짧아서 좋긴 좋지만, 그 강의만으로는 모든 걸 깨우칠 수 없달까.. 그리고 패캠처럼 20분에 맞추는 것도 아니고 강의 시간이 들쑥날쑥해서 나에게 맞는 강의를 고르는데 한참걸린다.
인프런에서는 가볍게 들을 강의나 기초(탄탄한 기초가 아니라 훑어볼 기초) 강의를 듣거나 복습용 강의를 많이 들었다.
챌린지를 진행하며 어려웠던 점?
강의듣는거야 돈을 냈으니까 듣는거니까 어렵진 않았다. (마치 대학 등록금내고 수업듣듯이..)
그런데 후기가 좀 힘들었다.
일주일에 하루만 써도 괜찮았을텐데, 매일 500자를 쓰려니 무슨 말을 써야할지 모르겠어서 강의내용을 많이 썼다.
강의내용정리가 후기의 핵심이었는데, 강의 내용을 이해도 못한 날에는 정리가 정말 힘들었다..
다음에는 좀 쉬운 강의로.. 강의내용 정리가 되는 강의로 듣고 싶다.
그런데 또 쓰다보면 500자가 금방 채워져서 나름 할만 하기도 하고...
지나고 생각해보니 좋았던 점은 매일 500자라는 챌린지를 했어서 매주 하는 챌린지는 가볍게 도전해볼 마음이 든다는 점? ㅎㅎ 다음에도 패캠에서 환급반을 내면 매일 챌린지는 고민을 조금 해보겠지만, 매주 챌린지는 해볼 수 있을 것 같다.
그리고 또 한가지는 추석이 껴서 좀 어려웠었다.
할머니댁으로 가서 들었는데, 와이파이가 안돼서 5G를 키고 핫스팟으로 들었다. 5G이다 보니 연결상태가 불안정할까봐 불안했고, 할머니댁에서 한 시간정도 수업듣고 블로그에 글 남기고 있기 좀 뻘쭘하긴 했다.
챌린지 진행 기간동안 피치 못할 사정이 생길 수도 있다는 점이 좀 힘들었다.
그래도 이건 한 달 챌린지라 할만했다.
자신의 한 달 계획 중에 해외를 간다던가... 1박2일 산골 여행을 간다던가 그런 것은 체크해놔야할 것 같다.
요즘은 코로나라 이동이 잦지는 않지만, 패캠은 코로나가 끝나도 망하지 않을것 같으니까..!
강의에 대해 아쉬운 점, 좋았던 점
강의에 대해 좋았던 점은 위에서 많이 언급했던 것 같다.
디테일하게 설명해주시고, 대학에서도 구하기 힘들었던 답을 강의를 통해 알려주셔서 좋았다.
쉽게 설명해주시는 것도 너무 좋았다.
타 사이트보다 가격은 좀 비싼게 흠이지만, 그만큼 퀄리티 있는 강의다. 강의 자료도 꼼꼼하게 만들어주셔서 이 자료만으로도 공부할 수 있을 것 같다. (물론 수학이 되는 사람이라면..)
20분이라는 시간도 너무 좋았다. 요즘에는 짧은 시간의 강의가 많이 나오는 추세이긴하지만, 그래도 딥러닝이나 수학파트는 많은 설명이 필요하다고 생각되는 파트라서 여전히 강의시간이 매우 길다. 2~3시간 하는 것도 있고, 30분 정도 하는 것도 있고 다양하긴하다.
하지만, 짧은 강의들은 그만큼 내용이 부족하기도 하다.
그런데 패캠의 수학적으로 접근하는 딥러닝 올인원 패키지는 짧은 시간에 비해서 설명이 자세하고 또 쉽게 설명되어있어 완전 만족한다.
아쉬운 점은 내가 들었던 강의에만 해당할 수도 있는데, 과제를 못 했다는 것이다.
원래 slack을 통해 소통을 했던 강의였던 것 같다.
과제를 하고 slack에 제출하고, 코딩하고 slack에 제출하고 해서 강사님이 하나하나 다 체크해주시고, 피드백해주셨던 것 같다.
물론 그 강의보다는 가격이 저렴했겠지만 그런 피드백을 받지 못하는게 좀 아쉬웠다.
그리고 과제는 알려주셨지만 과제의 답을 따로 파일로 주지 않으셨던게 많이 아쉬웠다. 그럼 채점이라도 해볼 수 있었을텐데..
그리고 코드 파일도 주시면 참 좋았을 것 같다.. colab 링크라도 주셨다면...
물론 한 자 한 자 따라쳐보는 것도 정말 좋은 실습이긴한데..! 그런데..! 그냥 주셨으면 더 빠른 공부가 되지 않았을까.. 하는 작은 바람이다.
챌린지를 고민하거나 진행할 예정인 사람들에게 해주고픈 말
한 번 해보세요. 일단 고민을 시작했다는 것은 이 강의가 필요하다는 것이고, 돈이 문제일건데 제세공과금(22% 금액)을 낼 수 있다면 하시는 것을 추천합니다.돈으로 생긴 공부습관이긴하지만 어쨌든 공부의 습관이 생겼고, 하기싫어 죽을 것 같은 날도 어떻게 어떻게 잘 버티면 돈이 들어옵니다. 강의 듣고 후기남기고 하면 빠르면 40분, 정성들여 하면 1시간 정도 되는데 매일매일 알바해서 한달에 16만원 정도? 번다고 생각하며 열심히 했습니다. 내용정리는 잘 못했지만, 그렇게 하면서 아 내가 뭘 이해를 못했구나 까지 파악할 수 있어서 공부를 잘 하고 있구나를 알 수 있습니다. 그리고 매주 미션 달성 여부를 알려줘서 너무 재밌게 공부할 수 있었습니다.한달동안 미션 진행하는게 아니라 매일, 매주 단위로 미션을 수행하는 느낌이라 덜 지루하게 할 수 있었습니다. 화이팅!!!
이렇게 짧다면 짧은 패캠 환급반이 종료되었다.
재밌었고, 진짜 유익했던 패캠 30일 챌린지! 좋은 습관과 지식, 그리고 돈이 남았다. ㅎㅎㅎ
3-7-2 Batch, Stochastic, Mini-batch Gradient Descent - Comparison for Various Batch Sizes
오늘은 챕터 3을 끝내기 위해서 2강의를 들었다.
먼저 3-7-1 강의는 지난 시간에 배운 여러가지 Batch Gradient Descent Methods의 구현 방법이었다. 구현 방법보다는 구현 코드 설명이라고 하는 것이 나을 것 같다.
어제(지난 강의에서) 배운 3가지의 batch gradient descent methods의 코드를 설명해주시면서 이런 부분이 이렇게 구현되었다, 저런 부분은 저렇게 구현한다 요런 부분은 이렇게 구현해주었다. 설명해주셨는데 코드가 나와서인지 이해가 배로 어려워졌다.. 그래서 가끔 멍때리며 듣게 되었는데 코드를 설명해주시면서 이론도 다시 한 번 짚어주셔서 나름 복습도 되고 좋았다.
3-7-2 강의는 여러가지 batch size를 해보면서 각 사이즈별로 뭐가 어떻게 달라지는지를 보여주셨다. 이번 것은 코드는 아니었고, 그래프를 보여주시면서 비교해주셨다. batch size가 적당한 것이 스무스한 그래프를 보여주었고, 너무 작으면(이 예시에서는 1일 때) 굉장히 튀는 그래프가 보여졌다.
이 예시에서의 데이터셋 사이즈는 100이었기 때문에 100으로 해도 스무스한 개형을 보여주었다.
하지만, 보통 딥러닝에서는 최소 1만 개 이상의 데이터를 사용하기 때문에 128정도의 배치 사이즈는 기본이다.
1만 개로 데이터를 잡고 1000, 3000, 5000 이런 식으로 크게크게 늘려서 비교해주셨다면 더 재밌었을 것 같다.
3-6-1 Batch, Stochastic, Mini-batch Gradient Descent Methods - Theory
오늘의 강의는 mini-batch의 사이즈를 어떻게 선택할 수 있는가, 어떤 미니 배치 사이즈를 가져야 효율적인 연산을 할 수 있는가? 에 대한 강의였다.
강의 제목에도 batch, stochastic, mini-batch gradient descent가 나와있는데 이 각각의 의미는 다음과 같다.
batch gradient descent: mini-batch = dataset size일 때 mini-batch에 대해 gradient를 연산하고 세타를 최적화해간다.
stochatic gradient descent: mini-batch = 1일 때 mini-batch에 대해 gradient를 연산하고 세타를 최적화해간다.
mini-batch gradient descent: mini-batch = n일 때 mini-batch에 대해 gradient를 연산하고 세타를 최적화해간다.
각각의 방법이 조금씩 차이가 있는데, '어떤 방법이 가장 좋다' 라는 것은 없다. 강사님께서 강의에서도 말씀해주셨지만, 각각의 방법이 최적의 효과를 만들어주는, 잘 맞는 데이터가 있고, 잘 안 맞는 데이터가 있다. 이 방법을 적절하게 쓰는 방법을 논한 논문들이 많아서 사용하고자하는 데이터의 특성을 파악하고 그 특성에 맞게 배치사이즈를 선택하면 좋을 것이라고 말씀하셨다.
하지만 그래도 가장 많이 쓰이는 것은 있다. mini-batch 방법이 가장 많이 쓰인다.
batch 와 stochastic 방법을 읽어봤다면 알 수 있지만, 그 두 방법은 최대와 최소의 mini-batch size를 갖는다. 각각의 장점만을 결합해서 사용한다면 mini-batch가 가장 만만하게 쓰기 좋다. (그렇다고 mini-batch가 batch와 stochastic의 장점만을 모은 것은 아니다. 절충안 정도랄까. 내가 이해한 것은 그렇다.)
나도 지금 연구에서 mini-batch를 사용하고 있는데, batchsize가 이상하게 조절이 안돼서 좀 더 늘려보려고 하는데, 그냥 프로그래밍적으로 배치 사이즈를 조절하려고 애쓰지말고, 데이터의 특성에 맞게 배치사이즈를 조절해보려고 노력해봐야겠다.
3-5-1 for Several Samples - Backpropagation with NumPy 1
이번 강의는 여러 개의 샘플에 대한 백프로파이게이션을 어떻게 하는지에 대한 강의였다.
백프로파이게이션이란, 역전파라고도 하고 Back Propagation 이라는 뜻이다. 한자로 역전파라고 해도 이해가 잘 되지만, 보통 backprop 이라고 줄여서 많이 쓰이니, 앞으로는 backprop이라고 표기하도록하겠다.
앞의 많은 강의가 그랬지만, 이번 강의도 1, 2로 나뉘어져있는 강의이다.
지금까지 배웠던 학습과정에서 수식이 전개되는 과정을 다시 한 번 말씀해주시면서, backprop이 어떻게 진행되는지를 알려주셨다. 해당 수식들의 전개 과정에서 직접 전개된 과정의 수식을 알려주셨는데, 그 수식이 어떻게 나왔는가를 하나하나 계산해주시지는 않았지만, 파이썬으로 구현해 print 문을 통해 확인해보면 바로 이해가 될 것이라고 말씀해주셨다.
(내가 파이썬 구현 코드로 이 수식의 전개 과정을 직접 확인해볼지 어쩔지는 잘 모르겠지만.. )
아무래도 이 학습 과정이 수학으로 이루어지다보니 구현할 때 수식을 계산해야할 필요가 있다. 이 수식을 계산할 때 파이썬에서는 numpy라는 패키지를 사용한다. 강사님께서 감사하게도 우리가 넘파이를 까먹었을 까봐 넘파이의 덧셈,뺄셈같은 아주 기초적인 연산부터 다시 Review를 통해 정리해주셨다.
오늘은 강의를 2개나 들었다! 지금까지는 이렇게 1, 2 나뉘어져 있는 강의를 그냥 한 개만 듣고 넘겼지만 오늘은 연구실에 와서 공부해서 그런지 집중이 좀 잘되는 것 같아서 2까지 다 들었다 ㅎㅎ
그리고 1, 2가 나뉘어진 강의는 다음 시간에 좀 복습이 필요해서 그냥 집중 잘 될 때 다 몰아서 들어버리자하는 마음도 있었다.
저번 시간에도 여러 개의 샘플에 대한 학습 방법을 배웠는데, 저번 시간까지는 2개의 샘플에 대한 학습 방법이랄까. 되게 간단하게 배웠었다. 이번 강의에서는 정말 여러개 n개까지 확장해서 학습하는 방법을 배웠다. 학습을 하는데 세타도 최적화 시키고, loss, cost, gradient 등을 각각 구하는 방법이 모두 다른데 그것들 하나하나 설명해주셨다.
데이터가 n개 라는 것은 scalar가 아닌 vector로 계산하면, 여러 개의 스칼라 값을 하나의 벡터로 만든다고 생각하면된다. 즉, 각각의 스칼라값을 연산하는 것을 하나의 벡터 연산으로 생각하면 된다는 것이다.
데이터 n개에 대한 학습을 설명해주시면서 지난시간 컴퓨터의 효율성을 배울 때 말씀해주셨던 미니배치와 배치 사이즈에 대해서도 또 설명을 해주셨다. 미니배치를 적용한다고 해서 연산이 달라지는 것은 아니고, n의 크기가 미니배치의 사이즈가 되는 것이라고 설명해주셨다.
