쿠크멘의 코딩 공부

2021. 09. 22 수요일 17일차

3-1-5 Gradient Descent Method 1

이번 강의는 Gradient Descent Method 를 배웠다.

Gradient 란 구배 라고도 하고 기울기 라고도 하고, 그냥 한글로 읽어서 그래디언트라고도 한다.

Gradient의 의미를 위키백과에서 찾아봤는데, 글로 읽어도 잘 모르겠다.

 Gradient: 벡터 미적분학에서 스칼라장의 최대의 증가율을 나타내는 벡터장을 
뜻한다. 기울기를 나타내는 벡터장을 화살표로 표시할 때 화살표의 방향은 증가율이 최대가 되는 방향이며, 화살표의 크기는 증가율이 최대일 때의 증가율의 크기를 나타낸다.
출처: 위키백과 (https://ko.wikipedia.org/wiki/%EA%B8%B0%EC%9A%B8%EA%B8%B0_(%EB%B2%A1%ED%84%B0)

정리해보자면 스칼라에서의 '기울기'를 벡터장에서는 Gradient라고 부르는 것 같다. (그냥 나는 그렇게 이해했다..)

Gradient Descent 란 Gradient를 감소시켜 최적점(optimal point)를 찾아가는 방법(method)이다.

Gradient를 감소시킨다는 것은 절댓값 기준으로 보면 이해가 쉽다.

특정 data point에서 -3의 기울기(여기서는 편의상 Gradient를 기울기로 설명하겠다.)를 가졌다면 기울기의 절댓값을 감소시키는 방향으로 x를 움직여본다. 기울기가 -이면 x를 +방향(오른쪽)으로 이동시킨다. 기울기가 +이면 x를 -방향으로 움직인다.

이렇게해서 기울기가 0이되면, 그 point를 최적점(optimal point)라고 한다.

배운 것은 많지만 아직 정리가 되지 않아 글로 설명을 써두지는 못하겠다. (평생소장 강의니까 나중에 또 들어야지 ㅎㅎ)

그동안 그냥 어렴풋이 이해했던 gradient를 이렇게 글로 설명할 수 있을정도로 이해하게 되었다.

진짜 신경식 강사님.. 제 대학원 생활의 은인이십니다..☆

▼패캠 강의 리스트▼

https://bit.ly/37BpXiC

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.*

#패스트캠퍼스, #패캠챌린지 #직장인인강 #직장인자기계발 #패스트캠퍼스후기 #수학적으로_접근하는_딥러닝_올인원_패키지_Online #대학원생공부 #인공지능독학 #머신러닝 #딥러닝

2021. 09. 21 화요일 16일차

3-1-4 Loss and Cost Function 2

어제에 이어 loss and cost function에 대해 배웠다. 

predictor와 loss, cost 함수를 다시 정의해주시면서 cost function에서 loss function으로의 유도를 어제보다 자세히 해주셨다. 그리고 loss와 cost 함수의 그래프를 그려주시며 설명해주셨다.

θ1과 θ0에 대해 2차식인 loss와 cost였기 때문에 convex한 모양의 그래프가 나왔다.

공간적인 함수로 봤을 때 각 weight에 대한 모양이 각각 convex이기 때문에 공간상에 나타난 그래프가 이렇게 밥그릇같이 오목한 모양으로 나타났다고 자세히 설명해주셨다.

좀 더 자세히 들어가면서 실제로 그려보면 이렇게 밥그릇같은 convex한 모양이 나오지 않을 수 있다고하시면서 보충설명을 좀 더 해주셨다. (나는 실제로 그려보지 않을 거였지만 더 설명해주셔서 좋았다 ㅎㅎ)

여기서 배운 convex한 모형은 노이즈가 하나도 없는 이상적인 함수의 모양이었고, 실제로 그려보게 된다면 x1,x2에 대한 term이 들어가게되면 모양이 오목->평평한 모양으로 펴질 수 있다는 것을 알려주셨다.

그리고 그것에 대한 원리를 간단히 알려주셨다. x1,x2에 대한 term에 대한 계수가 크면 클 수록 모양이 평평해지는 것이었다.

오늘도 알아듣기 힘든 설명이었지만 정말 유익한 강의였다...

패캠이 평생소장이라 정말 다행이다

+여담)

벌써 5시간이나 들었다!! ㅎㅎㅎ 16일이나 되고.. 벌써 5시간이나 들었다니 환급반으로 시작한 공부지만 이렇게 공부 기록이 쌓이니 너무좋다.

▼패캠 강의 리스트▼

https://bit.ly/37BpXiC

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.*

#패스트캠퍼스, #패캠챌린지 #직장인인강 #직장인자기계발 #패스트캠퍼스후기 #수학적으로_접근하는_딥러닝_올인원_패키지_Online #대학원생공부 #인공지능독학 #머신러닝 #딥러닝

2021. 09. 20 월요일 15일차

3-1-3 Loss and Cost Function 1

2주간 습관을 쌓아와서인지 추석에도 빠지지 않고 공부했다.

오늘의 강의는 궁금했던 loss와 cost의 차이였다.

loss는 <예측값과 실제값의 차이>이고, cost는 예측값과 실제값들의 차이를 데이터 수만큼 나눈 것, 즉, <loss의 평균>이라고 보면 된다.

그동안 딥러닝을 공부해왔기 때문에 prediction과 true 값의 차이는 많이 배워왔고, cost function과 loss function에 대해서 많이 듣고, 배우고, 활용까지 해봤었다.

그런데 이렇게 다시 글로써 정리해주시니 머릿속에서 어렴풋한 것들이 잘 정리가 된 것 같다.

그동안의 강의와 패캠의 차이점은 디테일에서 나오는 것 같다.

(무료강의였지만..) 전에 들었던 강의들은 예시를 많이 들어주지 않아서 여러 글들을 많이 찾아보면서 이런예시 저런예시를 직접 찾아보며 이해했다. (마치 딥러닝에서도 데이터가 많아야 일반화가 쉽게 되는것 처럼 많은 예시를 찾았다.)

그런데 이 패캠 딥러닝 강의에서는 예시를 많이, 그리고 세세히 설명을 해주셔서 더 이해가 잘 된 것 같다.

오늘은 음식 준비의 날이었지만, 내일은 차례를 지내고 시골을 갔다오고해서 출석을 잘 할 수 있을지 모르겠다..

그렇지만 2주간 쌓아올려놓은 습관을 무너뜨릴 순 없으니 열심히 다짐해야지!! 화이팅!

내일 강의도 loss와 cost관련 강의인데, 내가 모르는 것 중 어떤 것이 나올지 기대된다.

▼패캠 강의 리스트▼

https://bit.ly/37BpXiC

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.*

#패스트캠퍼스, #패캠챌린지 #직장인인강 #직장인자기계발 #패스트캠퍼스후기 #수학적으로_접근하는_딥러닝_올인원_패키지_Online #대학원생공부 #인공지능독학 #머신러닝 #딥러닝

2021. 09. 19 일요일 14일차

3-1-2 What's Linear Regression? 2

저번 Regression 강의에서 뒤에 안 끝난 부분이 있어서 '음.. 혼자 공부하라는건가' 라고 생각하고 넘겼는데 뒤에 남은 부분을 오늘 해주셨다. 저번 강의와 이어서 들으라는 뜻이 이 뜻이구나.. 하며 열심히 들었다.

Linear 모델의 수식은 항상 θ의 전치행렬(transpose)와 x의 곱으로 나온다. 그냥 y가 x에 대한 식으로 나타나야하고, x에 대한 계수를 모르는 거니까 그런거라고 이해하고 있었는데, 이번 강의를 통해 좀 더 깊게 이해할 수 있었다.

θ를 그냥 넣어준 것이 아니라 간편한 연산을 위해 넣어준 파라미터였다! 쓰고보니 비슷비슷한 것 같지만, 예전에는 말로 정리할 수 없었다면, 이제는 말로 정리해서 쓸 수 있게 되었다. 어렴풋하게 아는 것과 글로써 정리할 수 있게 된 것의 차이랄까. 작지만 큰 차이다. 오늘도 뭔가 배운 느낌!

그리고 y 를 x에 대한 식으로 나타낸 것을 predictor라고 부르는데, 딥러닝에서는 이 predictor에 매우 많은 input(x)가 들어간다. 강의에서는 편의상 input이라고 해주셨지만, feature의 개수라고 생각하면 될 것이다.

이번 강의에서는 이 feature의 값이 많고, 그 각각에 대한 파라미터 θ를 구하고, predictor를 data에 더 fit하게 맞춰가는 과정인 loss와 cost function에 대해서는 예고편만 들려주셨다.

재밌게 설명해주셔서 내일이 기대된다. 

(기대는 되지만 듣지 않는 못난 랜선 제자..)

▼패캠 강의 리스트▼

https://bit.ly/37BpXiC

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.*

#패스트캠퍼스, #패캠챌린지 #직장인인강 #직장인자기계발 #패스트캠퍼스후기 #수학적으로_접근하는_딥러닝_올인원_패키지_Online #대학원생공부 #인공지능독학 #머신러닝 #딥러닝

2021. 09. 18 토 13일차

3-1-1 What's Linear Regression?

야코비안을 복습할까하다가 일단 하나 들어보고 결정하려고 3과의 첫 강의를 들어보았다.

이제 본격적인 시작이라는 것을 알리는 듯, 3과의 총 강의수는 이전의 강의들과 달리 매우 많았다. (약 20강 정도?)

4과도 그랬고... 5과 6과가 되어서야 열 몇 강의로 조금 줄어들기 시작했는데, 강의가 많아서 시작하기도 전에 지치기도 했지만, 그래도 그만큼 가성비를 챙긴것 같아 좋았다.

이번 강의는 Linear Regression의 뜻, 개념에 대해 알아보는 강의였다.

오늘은 Regression에 대한 의미를 배웠고, 다음 강의에서는 Linear의 의미를 알아보자고 하셨다. (바로 이어서 들으면 좋겠다고 하셨지만.... 내일 듣는 못난 랜선 제자..)

Regression은 continuous한 값을 가지는 것이고, classification은 discrete한 값을 가지는 것이라고 알고 있었는데, 그대로 설명해주시긴했지만, 그것만으로 차이를 설명할 수는 없다고 하셨다.

그 차이가 뭔지 아직 자세히는 모르겠지만 복습도하면서 차차 익혀가보려한다.

Regression function에 대한 예시를 설명해주시면서 어떠한 형태의 데이터, 함수인지 알려주시고, 함수에서 사용되는 x, y, f()같은 것들을 앞으로 뭐라고 부를 것인지 용어 정의 같은 것을 알려주셨다.

Regression보다 Linear 라는 이름이 붙은 개념들이 많아서 내일 Linear의 의미를 더 집중해서 들을 것 같다.

오늘의 공부 끝!

▼패캠 강의 리스트▼

https://bit.ly/37BpXiC

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.*

#패스트캠퍼스, #패캠챌린지 #직장인인강 #직장인자기계발 #패스트캠퍼스후기 #수학적으로_접근하는_딥러닝_올인원_패키지_Online #대학원생공부 #인공지능독학 #머신러닝 #딥러닝

2021. 09. 17 금 12일차

2-3-1 Vector Chain Rule

오늘도 수학.. 이해가지 않는 것들의 연속이었다.

야코비언도 분명 어제 배운 것이고, element-wise 연산을 하면 대각 행렬이 나오는 것도 분명 배웠고..

s벡터와 t벡터를 합치면 벡터의 성분끼리 연산하는 거 알고 있었고..

분명 어려운 것들이 아닌데 그것들을 한 번에 설명하니까 갑자기 뇌에 과부하가 왔다.

저 s벡터와 t벡터의 동그라미가 무슨 기호로 불리는지는 모르겠지만, 저걸 곱하면 결과로 대각 행렬이 나오고..

편미분하고.. 체인 룰(chain rule)이 있고..

중간에 고등학교 때의 체인 룰과 다를 것이 없다고 하셨는데 나는 고등학교 때 배운 체인 룰이 뭔지를 모르겠고...

정승제 쌤.. 보고싶어요...

오늘 응?응?응? 하면서 강의 5분을 20분만에 이해하며 듣다가 대략 한 시간만에 강의를 다 들었는데,

들으면서 이걸 계속 들어도 괜찮은건가 싶었다.

다시 야코비언부터 내 용어로 다시 정리하는 시간을 가져야할 것 같기도 하다.

연산의 결과가 어떻게 나오는지는 알았지만, 야코비언이나 체인룰 등등 그 용어의 정의를 설명할 수 있는 수준으로 이해한 것은 아니라서 블로그를 찾아보고, 좀 정리하면서 들어야할 것 같다.

그리고 강의 끝부분에서 연습문제를 많이 준비해놓았으니 이 부분에 대해서 많은 연습을 할 수 있고, 그럼 이해가 잘 될 것이라고 말씀해주셨는데... 

강의 처음 나왔을 때 들었으면 정말 좋았을 것 같다.

(이해가 안돼서 연습을 할 수가 없는데요 쌤..)

내일 야코비언을 쭉 복습할지.. 아니면 다음 과를 일단 나가면서 야코비언은 따로 정리할지 고민해봐야겠다.

▼패캠 강의 리스트▼

https://bit.ly/37BpXiC

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.*

#패스트캠퍼스, #패캠챌린지 #직장인인강 #직장인자기계발 #패스트캠퍼스후기 #수학적으로_접근하는_딥러닝_올인원_패키지_Online #대학원생공부 #인공지능독학 #머신러닝 #딥러닝

2021. 09. 16 목 11일차

2-1-3 Jacobians for Element-wise Binary Operations

아직 야코비안이 뭔지 정확하게 정리는 되지 않지만 설명하시는 수식이 뭔지는 대충 알아들었다 (얏호)

오늘 강의는 그렇게 어려운 건 아니었다.

야코비안 행렬을 구하고, 그것을 미분했을 때 대각선모양으로 값이 남아서 대각행렬(diagonal matrix)만 남는 것이다. 

하나의 벡터함수만을 미분했을 때도 대각선성분만 남고, 두 개의 벡터 행렬을 더하거나 곱하는 연산을 한 후에 미분을 해도 대각성분만 남아 대각행렬이 되었다.

특히, 벡터 함수에서 파라미터의 계수가 1인 경우, 1만 남아서 항등행렬이 나오는 경우도 있었다.

두 벡터 함수를 곱했을 때는 대각행렬의 성분이 미분하는 함수가 아닌 다른 함수만 남는 경우가 있었다. (미분하는 함수가 아닌 함수를 상수취급을 하기 때문에)

어제의 야코비안 강의는 어려워서 뒤에 나오는 이론과제를 손도 못 댔었는데, 오늘 야코비안 강의는 문제를 읽어보니 일단 할 수는 있을 것 같았다.

오늘 늦게 강의를 듣기도 했고, 문제가 3개나 되고, 노가다가 필요한 문제이기 때문에 아직 손으로 풀이는 못 썼다.

첫번째 문제를 읽고 머릿속으로 푼 것으로는 그냥 전개만 하면 될 것 같았다. (뒤에 문제도 또 봐야하겠지만 ㅎㅎ)

괜히 어려운 강의를 골랐나싶지만 이 강의를 구매한 것이 후회되지는 않는다.

강사님이 정말 이해시켜주시려고 노력을 많이하신다.

강의 중에 "이거를 미분하면 어떻게 되는지 궁금하지 않아요?"라고 하셔서 혼잣말로 '아니요.. 궁금하지가 않아요..'했는데 내 마음 읽으셨는지 "궁금하다고 해줘요"하시면서 스무스하게 진행해주셨다 ㅋㅋㅋㅋㅋ

안 궁금해도 궁금해해야지...

강사님이 추천해주신 논문도 조금씩 읽어보고싶다.

후우 오늘도 딥러닝 공부 완료!

▼패캠 강의 리스트▼

https://bit.ly/37BpXiC

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.*

#패스트캠퍼스, #패캠챌린지 #직장인인강 #직장인자기계발 #패스트캠퍼스후기 #수학적으로_접근하는_딥러닝_올인원_패키지_Online #대학원생공부 #인공지능독학 #머신러닝 #딥러닝

2021. 09. 15 수 10일차

2-1-2 Jacobian Matrices

어제 이해가 잘 안 된 부분을 다시 들어보았다.

어제 1개를 듣고 이게 뭐지..? 하면서 들었어서 그런지 잘 이해가 안되는 부분이 있었는데,

오늘 들으니 다시 이해가 착착 됐다!

이번 강의에서는 스칼라 함수, 벡터함수를 배우고 스칼라함수의 편미분, 벡터함수의 편미분, 스칼라 함수와 벡터함수가 혼합되어있을 때의 편미분을 배우는데 벡터함수 부분부터 조금 어려워지기 시작했었다.

그런데 어제 생각만큼 그렇게 어려운 건 아니었다!

스칼라함수와 똑같이 생각하면 됐다.

1차원 행렬을 벡터라고 말하는데, 1차원 행렬처럼 스칼라 value가 계속해서 늘어져있고, value 하나하나에 대해서 스칼라라고 생각하고 미분을 해주면 벡터에 대한 미분이 되었다.

처음에는 너무 길고, 또 많은 연산이 되어있으니 와.. 이게 뭐지 싶었는데

그냥 스칼라가 여러 개 있다고 생각하면 될 것 같다.

여기서 표로 4가지 경우가 정리되어 있는데, 그 중 마지막 벡터함수, 벡터값에 대한 미분이 가로세로로 정말 길게 나와서 어제는 거기서부터는 헉..!하고 겁먹고 잘 안 보기도 했었다..

그래도 오늘 앞에 것이 이해가 가니 뒤에것도 많이 이해가 되었다!

야코비안이라는 단어는 많이 들어봤지만, 이게 뭔지는 잘 몰랐었는데, 이번 기회를 통해서 알게 되어 다음에 야코비안이 나오면 아! 벡터함수! 미분!하면서 떠올릴 수 있을 것 같다.

그리고 패캠을 들으면서 처음에는 진도에 급급하며 좀 빨리 나가야하나..? 하는 마음이 좀 많이 들었었는데, 오늘 이렇게 다시 강의를 듣고 나니 천천히 이해하며 나아가는 것이 더 중요한 것을 깨달았다.

+여담

 저번 주 1주차 미션을 통과했다!

이렇게 매주 검사를 받으니 매주 새로 시작하는 기분이 들어서 퀘스트 같고 재밌다 ㅋㅋㅋ

▼패캠 강의 리스트▼

https://bit.ly/37BpXiC

*본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성되었습니다.*

#패스트캠퍼스, #패캠챌린지 #직장인인강 #직장인자기계발 #패스트캠퍼스후기 #수학적으로_접근하는_딥러닝_올인원_패키지_Online #대학원생공부 #인공지능독학 #머신러닝 #딥러닝