[학습 일지 / day 22] 집중력

오늘은 이미 집중력이 고갈되었다.

이 글 마저도 약간 억지로 쓰는 느낌

깃에 너무 집중을 해버렸나

그래도 남는 게 많았던 하루였다.

 

문제는 그림도 그려야 하는데

도저히 안 될 것 같단 말이지

내일이랑 모레는 균형을 맞춰봐야지

점심 시간 때 그림을 그려야 하나??

 

아무튼, 오늘 배운 것 중에

가장 인상 싶었던 것은

git checkout 과 git reset에 대한 내용이었다.

git checkout은 head를 직접 움직이는 것이고

git reset은 head가 가리키는 branch를 움직이는 것이다.

그리고 이 둘을 잘 활용하면

version 이동을 자유자재로 할 수 있다!!!

정말 git을 만든 사람은 천재이다. 반박의 여지가 없다.

감사히 잘 써야지 ㅎㅎ

 

오늘은 NLP 나머지 강의를 완강했는데

당장 내일은 욕심 없고

목요일이나 금요일에는 CV나 Recsys 강의 중

관심 있는 것은 찾아들을 수도 있을 것 같다.

내일은 아마 BERT 논문 읽는데 시간을 많이 쓰지 않을까 싶다.

 

그럼 이만 오늘의 학습 정리를 하고 마무리 짓겠다.

 

GPT-1

Extract token - 이 문장을 잘 이해하고 문장의 성질이나 문장 간의 관계를 잘 이해해서 
그 성질이나 관계를 예측하는 거기에 필요한 정보가 바로 이 self attention을 통한 encoding 과정 중에
이 Extract token이 쿼리로 사용되어서 이 task에 필요로하는 여러 정보들을 주어진 입력 문장들로부터
적절하게 정보를 추출할 수 있어야 합니다.

앞서 pretrained step에서 대규모 데이터를 통해, 별도의 label이 필요로 하지 않는
self supervised learning, 이라고 부르는 이러한 프레임워크를 통해
대규모 데이터로 부터 얻을 수 있는 어떤 지식을
소량의 데이터만이 있는 target task에 전이 학습 형태로 그 지식을 활용해서 성능을 올려줄 수 있는 양상으로
pretraining 및 transfer learning이 일어나게 됩니다. 


BERT

이 BERT도 GPT와 마찬가지로 Language Modeling이라는 task 로서
문장에 있는 어떤 일부 단어를 맞추도록 하는 그 task로서 pretrain을 수행한 모델이 됩니다.

 

그 외에도 다른 모델들에 대한 소개를 해주셨는데

논문 읽고 다시 봐도 괜찮을 것 같다는 생각이 들었다.

그래서 오늘은 일단 여기까지.

내일은 말했듯이 BERT 논문 학습을 하고

Self-supervised learning 이나 Knowledge Graph에 대한 내용을 찾아 학습할 계획이다.

 

그럼 오늘도 수고했다. 굿밤:)

 

아래는 오늘 재밌게(?) 본 자료 링크들 :

선형변환과 아핀변환에 대한 고찰 (Linear & Affine Transformation) | Hooni's Playground