[학습 일지 / day 14] 적응

이제 몸과 마음이 현재 생활에 많이 적응한 것 같다.

컨디션도 살아나고 의욕도 살아나면서

더 오래 집중할 수 있게 되었고

더 많은 걸 해보고 싶게 되었다.

 

이전에는 조금 억지로라도 하는 느낌이었지

지금은 바라는 게 많지 않달까

뭔가를 하는 데 있어서

조건이 별로 붙지 않는 것 같다.

 

그러니까 만약 취업을 위해서 부스트 캠프를 한다라고 하면

사실 맞는 말이긴 하지만

그보다는 그냥 이게 재밌어서 한달까

여기에 집중하는 순간이 좋고

여기에서 관심사가 비슷한 사람들과 만나는 게 좋다.

 

약간 버거운데라는 생각이 들 정도의 강도가 나한테는 맞는 것도 같다.

하나하나 알아가고 하나하나 채워가는 게 재밌다.

맥주 한 캔을 기울이며 글을 쓰다 보니 감정적이 된 것도 같다;;;

 

그러니까 이만 줄이고 오늘 배운 내용을 정리해봐야지

 

오늘은 DL Basic 수업을 다 들었다.

RNN, LSTM, Transformer, Generative Models 등에 대해 배웠다.

 

LSTM gates

ft : 어떤 정보를 버릴지

it : 어떤 정보를 추가할지 말지

C tilda t : cell state candidate라고 저는 말을 하는데 
이 역시나 이전의 cell state와 현재 입력이 들어와서
다른 NN을 통해서 hyperbolic tangent를 통과해서 나오는
모든 값이 -1 +1로 정교화되어 있는 어떤 C tilda라는 것을 만들어요.
C tilda는 현재 정보와 이전 출력 값을 가지고 만들어지는 Cell state 예비군인 거죠.
ft를 곱해서 버리고 it를 곱해서 어느 값을 올릴지 정해서 이 두 값을 combine한 것을
새로운 Cell state로 업데이트하는 거죠

ot : 어떤 값을 밖으로 내보낼지 -> output / hidden state

 

Transformer

1. n개의 단어가 어떻게 인코더에서 한번에 처리가 되는지
2. 인코더와 디코더 사이에 어떤 정보가 주고 받는지
3. 디코더가 어떻게 generate할 수 있는지
-> 중요

weight를 구하는 과정이 query와 key사이의 내적을 normalize하고 softmax 취해주고
그렇게 해서 나오는 attention을 value vector와 weighted sum을 한 게
최종적으로 나오는 encoding된 vector가 되는 거죠.

왜 이게 잘될까?
이미지 하나가 주어졌다고 생각해보면 CNN, MLP dimension으로 바꾸면
input이 fix되어있으면 출력이 고정돼요
transformer는 input이 고정되어있다고 해도
인코딩한 단어와 옆의 단어들에 따라서 출력이 달라질 수 있기 때문에
훨씬 더 많은 것을 표현할 수 있기 때문
반면 더 많은 computation이 필요

Multi headed attention attention을 여러 번 하는 거예요.
q,k,v를 n개 만드는 거예요

n개의 단어를 sequential하게 넣어줬다고 하지만
사실은 이 sequential한 정보가 사실은 이 안에 포함되어 있지가 않아요.
order에 independent해요.
그래서 이 poistional encoding이 필요하게 되고 얘는 사실 그냥 주어진 입력에 어떤 값을 더한다.

결과는 항상 query에 대응해 나오는 거예요.
query 벡터들에 대해서 어떤 인코딩을 하고 싶었는데
이 인코딩을 할 때 50개의 서로 다른 셋을 고려하는 거예요.

 

아래는 Word Embedding의 정의에 대해 정리한 자료

[Definition] Word Embedding이란?

 

오늘은 강의 내용을 다 담은 것은 아니기 때문에

또 말로 풀어 설명한 것에 위력이 있기 때문에

조금 줄여서 중요하다 싶은 내용을 그냥 올렸다.

이제 약간 술기운이 올라오네. 이만 줄여야겠다.

 

오늘도 수고했고 내일도 화이팅이다!