늘보의 서랍

벌써 18일차라니 4주차라니 생각보다 시간이 빠르게 지나갔다. 매일 매일 할일하기에 바쁘니까 시간 또한 어떻게든 잘 가는 것 같다. 아직 2월까지는 4개월이나 남았지만 이 또한 하루 하루를 성실하게 보내다보면 금방 지나가 있겠지? 싶다. 그렇게 생각하고 나니 내가 원하는 게 뭔지 하고 싶은 게 뭔지 또 어떻게 해야할지 여러 생각들이 드네 그래도 열심히 또 잘하고 있는 것 같으니까 계속 차근 차근 나아가봐야지. 멘토 님과도 얘기를 많이 해봐야할 것 같다. 얘기를 해보면 새롭게 보이는 부분이 있겠지. 뭐, 아무튼 오늘은 Transformer 논문 정리를 마저 했다. 사실 하던 대로 다른 사람이 읽기 편한 자료를 만들기는 했는데 이게 발표 자료는 아니라서 또 욕심냈던 만큼의 완성도로 완성한 것도 아니라서 아쉬..

논문 링크 : Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org Jay Alammar 논문 해설(모델 구조 및 작동 원리 with Animation) : The Illustrated Transformer Discussions: Hacker ..

오늘은 이고잉 님의 git 수업을 수강하였다. git 강좌는 한 번인가 들어본 적이 있고 그 후에는 실무 때문에 또 프로젝트 때문에 몇몇 명령어만 익혀서 사용하곤 했었다. 그러니까 사실 잘 모르고 썼던 느낌이 강했다. 그런데 이고잉 님 수업을 들으니 체계가 잡히지 않았던 용어와 개념들이 자기 자리를 알아서 착착 찾아갔달까 정말 도움이 되는 명품 강의였다. 그런데 이제 문제는 git 수업 듣고 나니 지쳐버렸다는 거지 아침에 Transformer 공부도 하기도 했으니까 저녁 시간은 억지로라도 Transformer 스터디 자료를 만드려는 나와 더는 못하겠다고 뻗어버리는 나와의 신경전으로 모두 보내버렸다. 진전은 있었지만 많은 진전은 아니었다. 내일 충분히 다 할 수 있겠지? 그러길 바란다. 마감 시간의 기적을..

오늘도 저번 주 월요일과 마찬가지로 대체 공휴일이었다. 주말 간 친구들이랑 여행을 갔다 와서 다시 맞이한 일상이었다. 수요일에 트랜스포머 발표가 예정되어 있어서 아침부터 관련 링크를 모두 탭창에 올려놓고 트랜스포머를 학습하였다. 오늘 하루 간 트랜스포머의 구조와 작동 방식을 설명해놓은 글 두 개를 읽었다. 사실 시간 상으로는 더 많은 일을 할 수 있는 시간이었는데 어제 많이 먹고 차를 오래 탄 탓에 탈이 나서 책상 앞에 오래 앉아있질 못했다. 어쩔 수 없는 일이라 내일과 모레 일단 최선을 다해보기로 하였다. 내가 원하는 수준의 자료를 만들기엔 빠듯하겠지만 최대한 내용을 정리하고 담아보리라. 그간에 어설프게만 알고 있던 내용이라 다시는 찝찝함을 남기지 않기 위해서라도 열심히 해봐야겠다. 그런데 비단 트랜스..

오늘은 밖에 나갈 일이 많은 하루였다. 아침에 머리 자르러 외출하고 저녁에는 친구와의 약속으로 밖에 나갔다왔다. 점심 때에 돌아와서 Data vizualization 수업을 들었는데 집중이 잘 안됐다. diffusion 모델을 공부하고 싶어서 스터디를 모집했다 보니 거기에 정신이 팔리기도 했고 visualization에서는 새롭게 느껴지는 내용이 없어서 조금 따분했기 때문이기도 했다. 사실 나는 이것 저것 많이 시도해보고 싶고 또 얘기를 많이 나눠보고 싶은데 나만의 생각이었나 싶은 느낌이 있다. 조금 지쳤을까나 근데 뭐 당장에 더 일을 벌이기는 힘들 것 같으니까 그냥 그동안 노력한 자신에게 고생했다고 해주고 싶다. 이제는 벌인 일들 수습하다가 나중에 취업하고 프로젝트에 집중하면 될 것 같다. 아직은 해야..

이제 몸과 마음이 현재 생활에 많이 적응한 것 같다. 컨디션도 살아나고 의욕도 살아나면서 더 오래 집중할 수 있게 되었고 더 많은 걸 해보고 싶게 되었다. 이전에는 조금 억지로라도 하는 느낌이었지 지금은 바라는 게 많지 않달까 뭔가를 하는 데 있어서 조건이 별로 붙지 않는 것 같다. 그러니까 만약 취업을 위해서 부스트 캠프를 한다라고 하면 사실 맞는 말이긴 하지만 그보다는 그냥 이게 재밌어서 한달까 여기에 집중하는 순간이 좋고 여기에서 관심사가 비슷한 사람들과 만나는 게 좋다. 약간 버거운데라는 생각이 들 정도의 강도가 나한테는 맞는 것도 같다. 하나하나 알아가고 하나하나 채워가는 게 재밌다. 맥주 한 캔을 기울이며 글을 쓰다 보니 감정적이 된 것도 같다;;; 그러니까 이만 줄이고 오늘 배운 내용을 정리..

Embedding : 어떤 위상(位相) 공간에서 다른 위상 공간으로의 동상 사상(同相寫像) 위상 : 어떤 사물이 다른 사물과의 관계 속에서 가지는 위치나 상태 동상 : 물리 서로 다른 파동들 사이에 위상 차이가 없어서 골과 골, 마루와 마루의 위치가 같은 상태 사상 : (물리) 물체에서 나온 빛이 거울에 반사 또는 굴절된 다음에 모여서 생기는 상(像) (수학) 어떤 집합의 임의의 원소가 다른 집합의 하나의 원소에 대응할 때, 그 두 집합 간의 대응 관계 -> 한 위치나 상태에서 다른 위치나 상태로의 1대1 대응 Word embedding (위키피디아) word embedding is a term used for the representation of words for text analysis, typic..

최근에 가장 잘했다 싶은 것은 바로 아침 루틴을 만들고 또 오늘까지 2일 차 실행했다는 것이다. 아침에 일어나서 가벼운 요가를 하고 커피를 사온 후 자리에 앉아서 영어 쉐도잉을 한 뒤 10시 땡하면 코딩 테스트를 푸는 그런 루틴을 말이다. 또 오늘은 새벽에 일찍 일어나서 어제 다 못 읽었던 논문을 마저 다 읽었다. 오늘 다른 팀원이 발표한 논문도 점심시간 이후에 시간을 내서 다 읽었다. 와 이걸 했구나 라는 생각이 들 정도로 뿌듯하다. 그런데 정리하고 또 다 읽긴 했어도 그 내용이 머리에 박히지는 않아서 시간을 두고 또 보고 또 봐야 할 듯하다. NLP 논문을 대강 다 읽은 이후에는 그것들의 특징점과 차이점을 위주로 정리해놓을까 싶기도 하다. 오늘은 사실 논문 읽고 또 코딩 테스트 온라인 풀이 시간을 준..

논문 링크 : Distributed Representations of Words and Phrases and their Compositionality The recently introduced continuous Skip-gram model is an efficient method for learning high-quality distributed vector representations that capture a large number of precise syntactic and semantic word relationships. In this paper we present several extens arxiv.org 자료 링크 : - 모델의 구조 및 동작에 대한 설명이 디테일하게 잘 되어 있음 - w..

아쉽게도 논문 정리를 마무리 못 지었다. 곳곳에 등장하는 개념들을 다시금 찾아보고 또 수식에 대한 정보들을 찾아보고 이해하는 데에 생각보다 많은 시간이 들었다. 이렇게까지 해야 하나? 라는 생각이 가끔 들지만 그래도 이런 시간들이 쌓이다보면 나중에는 시간도 덜 들게 될 것이고 이해하는 데도 더 수월해질 것이라 믿고 있다. 당장에 대회에 나가야겠다는 욕심은 없으니까 이번 달까지는 이렇게 학습 위주로 일과를 짜도 괜찮지 않을까 싶다. 오늘은 CNN에 대한 강의를 수강했는데 어제와 마찬가지로 조금 자세하게 마스터 님이 말씀하신 내용을 옮겨 적었다. 이런 게 옛날에 보았던 서울대 공부법인가!? 싶었는데 흐름을 차근차근 따라가며 개념을 이해할 수 있어서 좋은 것 같다. 오늘도 그냥 다 옮겨볼까 하다가 이거 다 옮..