늘보의 서랍

오늘은 오프라인 강의장에 다녀왔다. 컴퓨터 화면으로만 만났던 사람들을 실제로 만나니 반갑고 또 기분 좋았다. 되게 알찬 하루였고 동시에 또 좋은 자극을 많이 받은 하루였다. 우선, GPT-1 논문을 학습하였고 피어세션 때 우리 팀 우진이의 발표를 들었다. 발표를 진짜 잘하는 것 같다. 발표 준비도 정말 남다르다. 발표를 통해 많이 배웠다. 내용은 추후에 정리해서 또 자료로 만들면 좋을 것 같다. seq to seq with attention이나 score based 등이 밀려 있어서 당장 하지는 못하겠지만... 부스트 캠프 기간 내에는 해야지. 그리고 level 2 팀원들과 자료 조사 내용을 공유하고 프로젝트 회의를 진행하였다. 다들 너무 잘 대해줘서 편하게 의견을 낼 수 있었고 발전적인 방향으로 잘 흘..

어제 늦게 잠에 들기도 하였고 또 피로가 많이 쌓인 상태였기 때문에 오늘은 생각만큼 오랜 시간 동안 집중력을 유지하진 못했다. 핑계긴 하지만 아무튼 그랬다. 그래도 강의를 2강 내용까지 다 들었고 EDA 좀 더 하고 github 폴더 관리하고 workflow 파일을 만들어 연구의 흐름을 기록해두기 시작하였다. diffusion study의 workflow도 만들긴 해야 되는데 일단 그거는 급한 게 아니니까 뒤로 미뤄두자. 또 하나 딥러닝 수학 스터디를 위해 딥러닝을 위한 선형대수학 책을 1-4 챕터까지 읽었다. 문제 풀이까지는 도저히 할 시간이 안 되었다. 그럼에도 불구하고 최소한의 책임은 다해야 한다고 생각해서 내용을 다 읽기라도 하고 스터디에 참여하였다. 그런데 결론은 학습 서적을 바꾸자였다. 실제로..

DL abstract 딥러닝 모델 학습은 모델 출력과 정답 사이의 오차(error)를 최소화하는 방향을 구하고 이 방향에 맞춰 모델 전체의 파라미터(parameter)들을 업데이트하는 과정입니다. 이때 오차를 손실(loss), 오차를 최소화하는 방향을 그래디언트(gradient)라고 합니다. 오차를 최소화하는 과정을 최적화(optimization)라고 합니다. 회귀분석에서 손실함수로 사용되는 -노름은 예측 오차의 분산을 가장 최소화하는 방향으로 학습을 유도합니다. 분류문제에서 사용되는 교차엔트로피(cross-entropy)는 모델 예측의 불확실성을 최소화하는 방향으로 학습을 유도합니다. 데이터가 특정 확률 분포를 따른다고 선험적으로(apriori) 가정한 후 그 분포를 결정하는 모수(parameter)를..

오늘은 온몸이 뻐근하게 시작한 하루였다. 주말 간 한일도 많았고 앞으로 할일도 많은 그런 하루의 시작이었다. diffusion study 정리하고 level1 프로젝트 준비하고 팀업과 같은 사전 사항을 챙기고 level2 프로젝트 사전 조사하고 또 개인사나 일정도 미리미리 정리하며 바쁘게 하루를 보냈다. 강의도 듣고 또 이전의 자료를 정리하고 심화 과제를 다시 보기도 하였지. 심화 과제 다 못본 게 항상 머릿속 어딘가에 남아있는 것 같다. 계속 탭 창 띄워놓고 하나씩 느리지만 해나가고 있다. 그리고 팀원들과 피어섹션 시간에 프로젝트에 관해 개괄적인 얘기를 나누기도 했다. 그런데 더 못할 줄 알았는데 뭐랄까 이거 해버렸다. 프로젝트 EDA... 잠깐 산책 나갔다가 해보면 재밌겠는데 했는데 막상 해보니 이거..

금요일에 코어타임이 끝나자마자 팀원들과 만났기 때문에 학습 일지를 바로 작성하지 못했다. 그리고 피곤해서 또 이것저것 할일을 하다보니 조금씩 미루고 미뤄져 지금 이시간까지 와버렸다. 일단 금요일에 주로 한 것은 BERT 논문 정리 마무리였지. 논문 정리가 빡세긴 하지만 정말 많이 남는 것 같다. 코드도 같이 볼 수 있다면 좋겠지만 아직은 시간이 그렇게 까지 많이 허용되지는 않았다. 앞으로 프로젝트 하면서 모델 코드를 뜯어볼 일은 또 있을 테니까 그때를 위해 남겨두자. 그런데 사실 금요일만 논문을 본 게 아니다. 일요일에 diffusion 스터디가 있었기 때문에 DDPM 논문 리뷰 유투브를 보고 또 DDPM 논문 정리를 시작하기도 했다. 이거는 이번 주 내에만 완성하는 걸로 해야지. 아, 그리고 일요일 d..

논문 링크 : BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models, BERT is designed to pre-train deep bidirectional representations from unla arxiv.org Wikidocs 링크 : 02) 버트(Bidirectional Encoder..

드디어 3회차에 걸친 Git 특강이 끝났다. 사실 오늘은 Git 특강으로 시작해서 Git 특강으로 끝났다고 봐도 무방한 하루였다. Git 특강 이후에는 주재걸 교수님의 마스터 클래스가 있었지만 점심 시간 포함 7시간을 릴레이로 이어진 Git 특강의 아성에 비할 바는 아니었다. 물론 교수님의 마스터 클래스는 임팩트 있었다. 축약적으로 최근 연구 트렌드를 콕콕 짚어주셨다. 하지만 소화 불량... 다 소화하지 못했는데 내용이 계속 넘어갔다. 다행히도 BERT를 이전에 공부해둬서 어찌저찌 이해하고 넘길 수 있었던 것 같다. 오늘은 원격 저장소 다루는 걸 마무리 짓고 git branch 운영 전략과 pull-request, cherry-pick, rebase, revert 등을 학습하였다. 원래 git 따로 복습..

오늘은 어제 생각한 대로 유휴 시간을 많이 두고 학습 및 기타 활동을 진행했다. 다시 말해, 중간 중간 많이 쉬었다. 무리하지 않기 위해 적당히 속도를 낮췄다. 애초에 BERT 논문을 읽는 것밖에 욕심이 없었기도 했고 어제까지 무리한 덕에 눈이 피로해 욕심내서 많이 하고 싶은 생각이 전혀 들지 않기도 했다. 그래도 천천히 읽어서 그런가 BERT 논문 내용은 놓친 것 없이 잘 보고 잘 이해한 것 같다. 요즘은 강의 듣는 거 외에 자료 정리나 스터디 진행 등에 많은 주의를 기울이고 있다 보니까 내 장점이 알고 보니 아카이빙과 커뮤니케이션이었는지도? 라는 생각이 자주 들고 있다. 나의 다른 면도 알게 되고 또 내가 발전하고 있다는 느낌도 들어서 그게 사실이든 아니든 간에 상관없이 좋은 것 같다. 오늘 트위터도..

오늘은 이미 집중력이 고갈되었다. 이 글 마저도 약간 억지로 쓰는 느낌 깃에 너무 집중을 해버렸나 그래도 남는 게 많았던 하루였다. 문제는 그림도 그려야 하는데 도저히 안 될 것 같단 말이지 내일이랑 모레는 균형을 맞춰봐야지 점심 시간 때 그림을 그려야 하나?? 아무튼, 오늘 배운 것 중에 가장 인상 싶었던 것은 git checkout 과 git reset에 대한 내용이었다. git checkout은 head를 직접 움직이는 것이고 git reset은 head가 가리키는 branch를 움직이는 것이다. 그리고 이 둘을 잘 활용하면 version 이동을 자유자재로 할 수 있다!!! 정말 git을 만든 사람은 천재이다. 반박의 여지가 없다. 감사히 잘 써야지 ㅎㅎ 오늘은 NLP 나머지 강의를 완강했는데 당장..

어제 티스토리가 모바일로 들어가지길래 글도 못 쓰는 줄 알았는데 블로그 링크 옆에 글쓰기 버튼으로 접근이 되네;; 이미 하루가 지났으니 간략하게 어제 일을 정리해보자면 level 2 팀 회의를 하였고 이전 기수의 최종 프로젝트를 정리하였고 또 Transformer 부스트캠프 강좌를 수강하였다. 코딩 테스트 준비 채널 운영이나 level 2 팀 회의 및 프로젝트 준비나 diffusion study 스터디의 운영 미 일정 관리와 같은 책임감을 느끼는 활동들이 있는데 그 활동들이 착착 착착 진행되가는 느낌이라 매우 고무적이고 또 매우 뿌듯하다. 더 수준 높은 활동이 되도록 더 노력해야지 후후... 아, 그리고 코딩 테스트 문제는 하나 둘 풀고 있지만 관성적으로 풀고 있을 뿐이지 스스로의 수준을 높이고 있지는 ..