[학습 일지 / day 11] 휴일인데

오늘은 휴일이지만 이번 주말에 놀러가는 관계로

약속에서 돌아온 5시 이후로 지금까지 수강 및 학습을 했다.

 

딥러닝 기본과 최적화에 대한 강의를 듣고

실습을 진행하였고

마스터님께서 말로 풀어 설명하는 것을 놓치지 않기 위해 집중하였다.

 

여기에서는 메모장에 옮겨 놓은 것을 그대로 붙여 넣겠다.

 

Key Components of Deep Learning

The data that the model can learn from
The model how to transform the data
The loss function that quantifies the badness of the model
The algorithm to adjust the parameters to minimize the loss

loss function is a proxy(*대용물) of what we want to achieve

Optimization algorithm: data, model, loss function이 정해져 있을 때 네트워크를 어떻게 줄일지에 대한 이야기입니다. Neural network parameter를 loss function에 대해서 1차 미분한 정보를 활용할 거예요.

 

Neural networks are function approximators that stack *affine transformations followed by nonlinear transformations

Neural networks는 function approximator라고 보면 되요. 함수를 근사하는 모델인 거죠. 그리고 어떤 식으로 동작하냐면 affine transformation, 행렬을 곱하는, affine transformation에다가 nonlinear transformations, 비선형 연산이 반복적으로 이루어져 가는 모델을 Neural Network라 부르겠다는

 

One way of interpreting a matrix is to regard it as a mapping between two vector spaces

행렬을 해석하는 하나의 방법은 그것을 두 벡터 공간들 사이의 맵핑으로 보는 것이다.

선형성을 가지는 변환이 있을 때 그 변환은 항상 행렬로 표현되며 행렬을 찾겠다는 것은 두 개의 (벡터 스페이스) 차원 사이의 선형 변환을 찾겠다는 것이다.

 

Nonlinear transformation

X라는 입력에서 Y라는 출력으로 가는 이 맵핑이 표현할 수 있는 그 어떤 표현력을 극대화하기 위해서는 단순히 선형 결합을 n 번 반복하는 것이 아니라 선형 결합 뒤에 activation function을 이용해서 비선형 변환을 일으킨 후 그렇게 얻어지는 feature vector를 다시 선형 변환을 하고 비선형 변환을 거치고 얘를 n번 반복하게 되면 더 많은 표현력을 갖게 되는 거죠.

Loss funciton이 어떤 성질을 가지고 있고 이게 왜 내가 원하는 결과를 얻어 낼 수 있는지에 대한 얘기를 꼭 해야돼요.

분류 문제의 output은 one hot vector로 표현이 돼요.

 

이해가 완전하지 않았던 부분들이

마스터님께서 하나씩 풀어 설명해주니 이해가 되었고

그 덕에 개념들의 연결이 쉬워졌다.

 

강의 들은 것 외에는 멘토님께서 리스트업해주신 논문을 조금 읽었다.

왠만하면 오늘 정리를 마무리하려 했는데 어려웠고

내일 일정에 따라서 마무리할 계획이다.

이제 내일부터 다시 정규 일정 시작이니까 또 열심히 해봐야지. 화이팅!!