쿠크멘의 코딩 공부

2021. 09. 26 일요일 21일차

3-2-1 for One Sample - Theory

오늘 강의 진짜 너무 좋았다!!

오늘의 강의는 1개의 샘플에 대한 iteration을 알려주셨다.

딥러닝이 많은 데이터를 여러 번 학습해서 알고리즘을 학습하는건 알겠는데, 그 학습을 어떻게 하는거지? 에 대해서 배웠다.

그냥 다들 식을 세우고 loss를 계산하고 gradient를 계산해서 loss를 낮추는 방향으로 학습을 한다 까지만 얘기한다.

그런데 신경식 강사님은 달랐다!!

모델이 뭐고, 어떤 식을 학습하고, loss는 뭐고, gradient는 어떻게 하고, descent는 어떻게하고 등등 그 iteration이라는 것에 대한 풀이를 엄청 자세히 해주셨다.

다른 곳에서는 한 개의 샘플에 대해서 설명하는 것도 아니고 그냥 여러 개를 한꺼번에 말해주니 좀 어렵게 느껴졌던 것 같기도 하다. 수학이란게 한 개의 예제 대해서 설명해주고 일반화시켜주셔야 이해가 될락말락인데 다들 이정도는 쉬운건지 일반화부터 시작을 해서.. 너무 어려웠다.

진짜 어디서도 배울 수 없었던 거였는데 이렇게 알려주셔서 너무 좋았다. (사실 내가 공부를 많이 안 했던 것일 수도....)

다른 곳에서 알려주는 곳이 있었다 하더라도 설명이 너무 어려워서 못 알아들었을 수도 있는데

이 강의에서는 비교적 쉽게 설명해주셔서 진짜 이해가 잘 됐다. 

여러 번 복습하면서 설명할 수 있을 정도로 공부해야겠다.

오늘의 딥러닝 공부 끝!

▼패캠 강의 리스트▼

https://bit.ly/37BpXiC

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.*

#패스트캠퍼스, #패캠챌린지 #직장인인강 #직장인자기계발 #패스트캠퍼스후기 #수학적으로_접근하는_딥러닝_올인원_패키지_Online #대학원생공부 #인공지능독학 #머신러닝 #딥러닝

2021. 09. 25 토요일 20일차

3-1-8 Basic Building Nodes

이전 까지는 learning rate이나 gradient descent method나 딥러닝을 공부해본 사람이라면 한 번쯤은, 아니 여러 번 들어봤을 법한 (그리고 이해가 안돼서 뭐지? 하면서 몇 번이고 돌려봤을 법한 것들) 그런 것들에 대한 강의였다.

그리고 오늘은 Basei Building Nodes.

[1차 시청]

이름부터 신기하고 새로웠다.

node를 새롭게 쌓는다는건가? 뭘 배우는거지? 하며 기대만발이었었다.

그.런.데.

plus, minus 등 5가지의 class를 만들고 forward, backward를 시키셨다.

음.... 어... 분명 설명을 하시는데 이게 뭐지 하면서 듣고있어서 강의를 다시 들었다.

[2차 시청]

알았다 알았다!

처음에 강의를 시작할 때 간단히 오늘 배울 것에 대해 설명해주시면서 "오늘 배울 것은 간단해요."라고 말씀하셨었는데, 정말 알고나니 간단했다.

구현해놓으신 class 안에 forward, backward 가 있었는데 처음엔 이해 못했지만 이해하니 쉬웠다.

plus node, minus node 등이 있는데 이 node 앞에 붙은 plus, minus 등은 forward 혹은 backward propagation을 할 때 덧셈을 하며 propagation을 할건지, 뺄셈을 하며 propagation을 할건지 그것을 나타내 준 것이었다.

그러니까 propagation에 대한 함수였던 것이다.

오늘도 힘들었던 공부 끝...

▼패캠 강의 리스트▼

https://bit.ly/37BpXiC

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.*

#패스트캠퍼스, #패캠챌린지 #직장인인강 #직장인자기계발 #패스트캠퍼스후기 #수학적으로_접근하는_딥러닝_올인원_패키지_Online #대학원생공부 #인공지능독학 #머신러닝 #딥러닝

2021. 09. 24 금요일 19일차

3-1-7 Learning Rate

오늘의 강의는 Learning Rate(학습률)에 대한 강의였다.

학습률(learning rate)은 많이 들어왔고, 어려운 개념이 아니라서 약간 만만하게 생각하고 들었다.

일단, 이렇게 Learning Rate에 대해서만 한 강의로 들은 것은 처음이다. 보통 Gradient Descent 강의를 하면서 최적의 θ를 찾는데 얼만큼 빠르게 찾을 것인가 혹은 최적의 θ를 찾는데 몇 걸음을 걸어갈 것인가 (보폭설정) 등으로 그냥 포함된 것처럼 설명하고 넘어가신다.

그런데 이렇게 한 강의로 빼셔서 20분 정도 강의를 해주셔서 정말 꼼꼼하게 준비해주신 것을 느낄 수 있었다.

언제 배웠는지 까먹었지만 파형을 배울 때였나..(물리) 미분을 배울 때였나..(수학) 진동과 수렴, 그리고 발산을 배운다.

그 개념이 여기서 아주 잘 활용된다.

learning rate가 매우 작으면 아주 조금씩 움직여서 최적의 θ 포인트를 찾는데 시간이 오래 걸리지만, 점점 수렴하는 모양으로 찾아갈 수 있다.

learning rate가 조금 크면 성큼성큼 움직여서 최적의 θ 포인트를 찾을 때까지 진동하는 모습을 보이며 최적의 포인트를 찾아간다.

learning rate가 꽤 크면 작은 그래디언트를 보이면 점을 찾아서 발산해가면서 최적의 θ 포인트에서 아주 멀어질 수 있다.

뒤에서 θ1과 θ0의 학습 속도차이에 따라서 learning rate에 따라 이 차이가 어떻게 보이는지도 설명해주셨다.

이 부분은 100% 완벽하게 이해하지는 못했다.

하지만 파라미터가 많으면 많을 수록 learning rate에 따라 학습에 영향이 있을 수 있다는 것을 알았다.

아직도 배울게 너무 많다...

▼패캠 강의 리스트▼

https://bit.ly/37BpXiC

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.*

#패스트캠퍼스, #패캠챌린지 #직장인인강 #직장인자기계발 #패스트캠퍼스후기 #수학적으로_접근하는_딥러닝_올인원_패키지_Online #대학원생공부 #인공지능독학 #머신러닝 #딥러닝

2021. 09. 23 목요일 18일차

3-1-5 Gradient Descent Method 2

저번 시간에 이어 Gradient Descent Method에 대해 배웠다.

강의 내용을 정리해보자.

loss 함수 그래프가 아래로 볼록한 그래프라고 생각해보자.

이미지를 두고 설명하면 좋을 것 같아 어디선가 퍼온 사진이다.

A점과 B점이 있다하면, 우리는 그 지점의 그래디언트만 알고 있다.

아래로 볼록한 전체 함수의 개형은 모르는 것이다.

그래서 그래디언트를 기반으로 해서 최적점을 찾으려면 어느 방향으로 가야하는지(오른쪽으로 갈지 왼쪽으로 갈지) 그것만 알고 있는 상태인 것이다. 

우리는 그 그래디언트로 우리가 만든 모델(ex. y = θ1x1+θ0) 의 파라미터들(θ1,θ0) 을 학습시킨다.

우리가 가진 데이터들을 일반화할 수 있도록 하는 가장 최적의 파라미터가 될 수 있도록 학습시킨다.

그런데 이때, θ1과 θ0의 학습속도가 다를 수 있다. θ0는 느리게 학습하고 θ1은 엄청 빠르게 학습을 하면 같은 학습을 했을 때 어떤건 최적이 아닐 수 있게 된다.

그리고 파라미터를 예시에서는 2개로 두었지만, 실제 문제에서는 10개, 20개, n개 만큼 둘 수 있으므로 파라미터들의 학습 속도가 모두 다르면 학습 속도 차이 때문에 학습이 잘 안 될 수 있다.

따라서 파라미터는 자신의 bias가 전체 cost에 얼마나 영향을 주었는지만 편미분으로 계산하여 업데이트한다.

즉, 파라미터는 각각 업데이트된다.

▼패캠 강의 리스트▼

https://bit.ly/37BpXiC

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.*

#패스트캠퍼스, #패캠챌린지 #직장인인강 #직장인자기계발 #패스트캠퍼스후기 #수학적으로_접근하는_딥러닝_올인원_패키지_Online #대학원생공부 #인공지능독학 #머신러닝 #딥러닝

2021. 09. 22 수요일 17일차

3-1-5 Gradient Descent Method 1

이번 강의는 Gradient Descent Method 를 배웠다.

Gradient 란 구배 라고도 하고 기울기 라고도 하고, 그냥 한글로 읽어서 그래디언트라고도 한다.

Gradient의 의미를 위키백과에서 찾아봤는데, 글로 읽어도 잘 모르겠다.

 Gradient: 벡터 미적분학에서 스칼라장의 최대의 증가율을 나타내는 벡터장을 
뜻한다. 기울기를 나타내는 벡터장을 화살표로 표시할 때 화살표의 방향은 증가율이 최대가 되는 방향이며, 화살표의 크기는 증가율이 최대일 때의 증가율의 크기를 나타낸다.
출처: 위키백과 (https://ko.wikipedia.org/wiki/%EA%B8%B0%EC%9A%B8%EA%B8%B0_(%EB%B2%A1%ED%84%B0)

정리해보자면 스칼라에서의 '기울기'를 벡터장에서는 Gradient라고 부르는 것 같다. (그냥 나는 그렇게 이해했다..)

Gradient Descent 란 Gradient를 감소시켜 최적점(optimal point)를 찾아가는 방법(method)이다.

Gradient를 감소시킨다는 것은 절댓값 기준으로 보면 이해가 쉽다.

특정 data point에서 -3의 기울기(여기서는 편의상 Gradient를 기울기로 설명하겠다.)를 가졌다면 기울기의 절댓값을 감소시키는 방향으로 x를 움직여본다. 기울기가 -이면 x를 +방향(오른쪽)으로 이동시킨다. 기울기가 +이면 x를 -방향으로 움직인다.

이렇게해서 기울기가 0이되면, 그 point를 최적점(optimal point)라고 한다.

배운 것은 많지만 아직 정리가 되지 않아 글로 설명을 써두지는 못하겠다. (평생소장 강의니까 나중에 또 들어야지 ㅎㅎ)

그동안 그냥 어렴풋이 이해했던 gradient를 이렇게 글로 설명할 수 있을정도로 이해하게 되었다.

진짜 신경식 강사님.. 제 대학원 생활의 은인이십니다..☆

▼패캠 강의 리스트▼

https://bit.ly/37BpXiC

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.*

#패스트캠퍼스, #패캠챌린지 #직장인인강 #직장인자기계발 #패스트캠퍼스후기 #수학적으로_접근하는_딥러닝_올인원_패키지_Online #대학원생공부 #인공지능독학 #머신러닝 #딥러닝

2021. 09. 21 화요일 16일차

3-1-4 Loss and Cost Function 2

어제에 이어 loss and cost function에 대해 배웠다. 

predictor와 loss, cost 함수를 다시 정의해주시면서 cost function에서 loss function으로의 유도를 어제보다 자세히 해주셨다. 그리고 loss와 cost 함수의 그래프를 그려주시며 설명해주셨다.

θ1과 θ0에 대해 2차식인 loss와 cost였기 때문에 convex한 모양의 그래프가 나왔다.

공간적인 함수로 봤을 때 각 weight에 대한 모양이 각각 convex이기 때문에 공간상에 나타난 그래프가 이렇게 밥그릇같이 오목한 모양으로 나타났다고 자세히 설명해주셨다.

좀 더 자세히 들어가면서 실제로 그려보면 이렇게 밥그릇같은 convex한 모양이 나오지 않을 수 있다고하시면서 보충설명을 좀 더 해주셨다. (나는 실제로 그려보지 않을 거였지만 더 설명해주셔서 좋았다 ㅎㅎ)

여기서 배운 convex한 모형은 노이즈가 하나도 없는 이상적인 함수의 모양이었고, 실제로 그려보게 된다면 x1,x2에 대한 term이 들어가게되면 모양이 오목->평평한 모양으로 펴질 수 있다는 것을 알려주셨다.

그리고 그것에 대한 원리를 간단히 알려주셨다. x1,x2에 대한 term에 대한 계수가 크면 클 수록 모양이 평평해지는 것이었다.

오늘도 알아듣기 힘든 설명이었지만 정말 유익한 강의였다...

패캠이 평생소장이라 정말 다행이다

+여담)

벌써 5시간이나 들었다!! ㅎㅎㅎ 16일이나 되고.. 벌써 5시간이나 들었다니 환급반으로 시작한 공부지만 이렇게 공부 기록이 쌓이니 너무좋다.

▼패캠 강의 리스트▼

https://bit.ly/37BpXiC

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.*

#패스트캠퍼스, #패캠챌린지 #직장인인강 #직장인자기계발 #패스트캠퍼스후기 #수학적으로_접근하는_딥러닝_올인원_패키지_Online #대학원생공부 #인공지능독학 #머신러닝 #딥러닝

2021. 09. 20 월요일 15일차

3-1-3 Loss and Cost Function 1

2주간 습관을 쌓아와서인지 추석에도 빠지지 않고 공부했다.

오늘의 강의는 궁금했던 loss와 cost의 차이였다.

loss는 <예측값과 실제값의 차이>이고, cost는 예측값과 실제값들의 차이를 데이터 수만큼 나눈 것, 즉, <loss의 평균>이라고 보면 된다.

그동안 딥러닝을 공부해왔기 때문에 prediction과 true 값의 차이는 많이 배워왔고, cost function과 loss function에 대해서 많이 듣고, 배우고, 활용까지 해봤었다.

그런데 이렇게 다시 글로써 정리해주시니 머릿속에서 어렴풋한 것들이 잘 정리가 된 것 같다.

그동안의 강의와 패캠의 차이점은 디테일에서 나오는 것 같다.

(무료강의였지만..) 전에 들었던 강의들은 예시를 많이 들어주지 않아서 여러 글들을 많이 찾아보면서 이런예시 저런예시를 직접 찾아보며 이해했다. (마치 딥러닝에서도 데이터가 많아야 일반화가 쉽게 되는것 처럼 많은 예시를 찾았다.)

그런데 이 패캠 딥러닝 강의에서는 예시를 많이, 그리고 세세히 설명을 해주셔서 더 이해가 잘 된 것 같다.

오늘은 음식 준비의 날이었지만, 내일은 차례를 지내고 시골을 갔다오고해서 출석을 잘 할 수 있을지 모르겠다..

그렇지만 2주간 쌓아올려놓은 습관을 무너뜨릴 순 없으니 열심히 다짐해야지!! 화이팅!

내일 강의도 loss와 cost관련 강의인데, 내가 모르는 것 중 어떤 것이 나올지 기대된다.

▼패캠 강의 리스트▼

https://bit.ly/37BpXiC

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.*

#패스트캠퍼스, #패캠챌린지 #직장인인강 #직장인자기계발 #패스트캠퍼스후기 #수학적으로_접근하는_딥러닝_올인원_패키지_Online #대학원생공부 #인공지능독학 #머신러닝 #딥러닝

2021. 09. 19 일요일 14일차

3-1-2 What's Linear Regression? 2

저번 Regression 강의에서 뒤에 안 끝난 부분이 있어서 '음.. 혼자 공부하라는건가' 라고 생각하고 넘겼는데 뒤에 남은 부분을 오늘 해주셨다. 저번 강의와 이어서 들으라는 뜻이 이 뜻이구나.. 하며 열심히 들었다.

Linear 모델의 수식은 항상 θ의 전치행렬(transpose)와 x의 곱으로 나온다. 그냥 y가 x에 대한 식으로 나타나야하고, x에 대한 계수를 모르는 거니까 그런거라고 이해하고 있었는데, 이번 강의를 통해 좀 더 깊게 이해할 수 있었다.

θ를 그냥 넣어준 것이 아니라 간편한 연산을 위해 넣어준 파라미터였다! 쓰고보니 비슷비슷한 것 같지만, 예전에는 말로 정리할 수 없었다면, 이제는 말로 정리해서 쓸 수 있게 되었다. 어렴풋하게 아는 것과 글로써 정리할 수 있게 된 것의 차이랄까. 작지만 큰 차이다. 오늘도 뭔가 배운 느낌!

그리고 y 를 x에 대한 식으로 나타낸 것을 predictor라고 부르는데, 딥러닝에서는 이 predictor에 매우 많은 input(x)가 들어간다. 강의에서는 편의상 input이라고 해주셨지만, feature의 개수라고 생각하면 될 것이다.

이번 강의에서는 이 feature의 값이 많고, 그 각각에 대한 파라미터 θ를 구하고, predictor를 data에 더 fit하게 맞춰가는 과정인 loss와 cost function에 대해서는 예고편만 들려주셨다.

재밌게 설명해주셔서 내일이 기대된다. 

(기대는 되지만 듣지 않는 못난 랜선 제자..)

▼패캠 강의 리스트▼

https://bit.ly/37BpXiC

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.*

#패스트캠퍼스, #패캠챌린지 #직장인인강 #직장인자기계발 #패스트캠퍼스후기 #수학적으로_접근하는_딥러닝_올인원_패키지_Online #대학원생공부 #인공지능독학 #머신러닝 #딥러닝