[학습 일지 / day 8] 배움은 끝나지 않았다!

오늘의 목표치는 많지 않았다.

강의 듣고

과제 마무리하고 논문 읽는 정도?

 

모두 코어타임(오전 10시 ~ 오후 7시) 내에

끝냈다.

 

가장 인상적이었던 활동은

피어 섹션 때 진행한 논문 스터디와 멘토링이다.

 

word2vec 논문과 seq2seq를 읽고

발표 준비하신 분들의 발표를 들었는데

빡빡한 일정 와중에서도

열심히 준비해오신 모습들에 많은 감사함을 느꼈다.

 

나 또한 word2vec 논문을 읽는 것은

처음이었는데

그 안에 담긴 연관 내용들의 개념들이 많아

처음 접한 분들에게는 많이 어려웠을 거란 생각이 들었다.

 

나중에 본격적인 NLP 세션이 시작된 후에

공부하는 것도 괜찮지 않았을까 싶기도 했다.

 

내 기준에서 무언가를 진행시킬 때에

발생할 수 있는 위험에 대해 인지하게 되었다.

 

근데 또 도전적인 학습 활동을 한다

라는 측면에서는 또 괜찮았던 것도 같다.

일장일단이 있었던 것 같다.

하지만 중요한 건 당사자들이 어떻게 받아들였느냐겠지

조만간 만날 일이 있으니

어려움이나 아쉬웠던 점에 대해 터놓고 얘기해보면 좋을 것 같다.

 

수업 내용에 대해 정리해보자면은

transfer learning(전이 학습) 시에

freezing 개념을 새롭게 알게 되었다.

학습된 모델을 불러와 사용할 때

특정 레이어들의 파라미터 값이

update되지 않도록 고정시켜주는 방법론이다.

결국 back propagation이 되지 않도록 하는 것인데

기존의 파라미터 값을 손상시키지 않기 위해서

사용하는 방법론이라 할 수 있겠다.

보통 대용량 데이터셋으로 만들어진 모델을 불러오기 때문에

그 일부만 변경하여서 성능을 높이는 것이 방법론적으로 맞는 것 같다.

 

그리고 마스터님께서 torchvision.utils.make_grid()

알아두라고 하셨으니까

이렇게 알아둬야지.

왠만한 것은 결국 문서만 한 게 없다.

처음엔 보는 것 만으로도 머리 아프지만

익숙해지면 이만큼 정보를 잘 담아놓은 자료도 없다.

 

논문 스터디 때 참고한 자료도 몇 개 있는데 

그냥 같이 올려버려야겠다.

나중에 또 까먹고 또 보게 될 것 같다.

 

아래는 Beam search에 대해 설명해 놓은 자료:

[Sooftware 머신러닝] Beam Search (빔서치)

그리고 이것은 계층적 소프트맥스에 대한 자료:

계층적 소프트맥스(Hierarchical Softmax, HS) in word2vec

 

오늘 마스터 클래스 내용도 감명 깊었는데

왜냐하면 나랑 비슷한 사람을 찾은 기분이 들었기 때문이었다.

그리고 부스트캠프에

마스터님 말고도 그런 사람들이 또 있었던 것 같아서

기뻐하기엔 슬픈 일이지만 또 반가웠달까

나름의 위안을 얻었었다.

 

마스터님 얘기기도 하고 내 얘기기도 하지만

결국 사람은 다 자기 시간 속에 살고 있는 것 같다.

남들과 비교할 만한 시간 속에 살고 있는 게 아니니까

꼭 비교해서 서로 상처를 주거나 혼자 상처 받을 필요는 없는 것 같다.

 

그렇지. 아까 들었던 생각인데

누군가가 앞에서 먼저 가는 사람이 있다면

누군가는 뒤에서 함께 가면 되는 것이라는 생각이 들었다.

 

나는 후자의 경우라고 생각하니까

다른 사람들과 함께 가는 법을 더 익혀봐야 할 것 같다.

말이 좀 길어졌네. 오늘도 수고했고 내일도 화이팅이다:)