늘보의 서랍

논문 링크 : How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings Replacing static word embeddings with contextualized word representations has yielded significant improvements on many NLP tasks. However, just how contextual are the contextualized representations produced by models such as ELMo and BERT? Are there infini arxiv.org 그러나, ELM..

이번 주에 Level2 실전 프로젝트 1이 시작됨에 따라 일정 관리가 정말로 빡세졌다. 팀적으로 맞춰야할 부분도 있고 최종 프로젝트 논의도 해야 하고 강의도 또 다들어야 하고 당장의 프로젝트도 해야 하며 또 그간 진행해왔던 스터디도 이어가야 한다. 스터디 과제도 차차 해나가야지. 할 게 많은데 어느 하나 놓칠 수 없는 것들이다. 오늘은 일단 첫 번째 프로젝트 회고를 끝냈고 또 일지 작성 후에 삶의 지도도 간단하게 써서 머릿속에서 치워버릴 생각이다. 오늘은 일단 7강 까지의 강의를 수강 완료하였다. 영어 쉐도잉과 모닝 코딩의 일과도 무사히 수행하였다. 우리 팀을 소개합니다 피피티도 완료하였고 팀적인 논의도 조금 진행하였다. 눈에 띄지 않을 지라도 발전이 각 부분에서 조금씩은 있었던 하루였다. 강의 듣고서는..

금요일에 코어타임이 끝나자마자 팀원들과 만났기 때문에 학습 일지를 바로 작성하지 못했다. 그리고 피곤해서 또 이것저것 할일을 하다보니 조금씩 미루고 미뤄져 지금 이시간까지 와버렸다. 일단 금요일에 주로 한 것은 BERT 논문 정리 마무리였지. 논문 정리가 빡세긴 하지만 정말 많이 남는 것 같다. 코드도 같이 볼 수 있다면 좋겠지만 아직은 시간이 그렇게 까지 많이 허용되지는 않았다. 앞으로 프로젝트 하면서 모델 코드를 뜯어볼 일은 또 있을 테니까 그때를 위해 남겨두자. 그런데 사실 금요일만 논문을 본 게 아니다. 일요일에 diffusion 스터디가 있었기 때문에 DDPM 논문 리뷰 유투브를 보고 또 DDPM 논문 정리를 시작하기도 했다. 이거는 이번 주 내에만 완성하는 걸로 해야지. 아, 그리고 일요일 d..

논문 링크 : BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models, BERT is designed to pre-train deep bidirectional representations from unla arxiv.org Wikidocs 링크 : 02) 버트(Bidirectional Encoder..

오늘은 어제 생각한 대로 유휴 시간을 많이 두고 학습 및 기타 활동을 진행했다. 다시 말해, 중간 중간 많이 쉬었다. 무리하지 않기 위해 적당히 속도를 낮췄다. 애초에 BERT 논문을 읽는 것밖에 욕심이 없었기도 했고 어제까지 무리한 덕에 눈이 피로해 욕심내서 많이 하고 싶은 생각이 전혀 들지 않기도 했다. 그래도 천천히 읽어서 그런가 BERT 논문 내용은 놓친 것 없이 잘 보고 잘 이해한 것 같다. 요즘은 강의 듣는 거 외에 자료 정리나 스터디 진행 등에 많은 주의를 기울이고 있다 보니까 내 장점이 알고 보니 아카이빙과 커뮤니케이션이었는지도? 라는 생각이 자주 들고 있다. 나의 다른 면도 알게 되고 또 내가 발전하고 있다는 느낌도 들어서 그게 사실이든 아니든 간에 상관없이 좋은 것 같다. 오늘 트위터도..

오늘은 이미 집중력이 고갈되었다. 이 글 마저도 약간 억지로 쓰는 느낌 깃에 너무 집중을 해버렸나 그래도 남는 게 많았던 하루였다. 문제는 그림도 그려야 하는데 도저히 안 될 것 같단 말이지 내일이랑 모레는 균형을 맞춰봐야지 점심 시간 때 그림을 그려야 하나?? 아무튼, 오늘 배운 것 중에 가장 인상 싶었던 것은 git checkout 과 git reset에 대한 내용이었다. git checkout은 head를 직접 움직이는 것이고 git reset은 head가 가리키는 branch를 움직이는 것이다. 그리고 이 둘을 잘 활용하면 version 이동을 자유자재로 할 수 있다!!! 정말 git을 만든 사람은 천재이다. 반박의 여지가 없다. 감사히 잘 써야지 ㅎㅎ 오늘은 NLP 나머지 강의를 완강했는데 당장..