늘보의 서랍

DL abstract 딥러닝 모델 학습은 모델 출력과 정답 사이의 오차(error)를 최소화하는 방향을 구하고 이 방향에 맞춰 모델 전체의 파라미터(parameter)들을 업데이트하는 과정입니다. 이때 오차를 손실(loss), 오차를 최소화하는 방향을 그래디언트(gradient)라고 합니다. 오차를 최소화하는 과정을 최적화(optimization)라고 합니다. 회귀분석에서 손실함수로 사용되는 -노름은 예측 오차의 분산을 가장 최소화하는 방향으로 학습을 유도합니다. 분류문제에서 사용되는 교차엔트로피(cross-entropy)는 모델 예측의 불확실성을 최소화하는 방향으로 학습을 유도합니다. 데이터가 특정 확률 분포를 따른다고 선험적으로(apriori) 가정한 후 그 분포를 결정하는 모수(parameter)를..

오늘은 온몸이 뻐근하게 시작한 하루였다. 주말 간 한일도 많았고 앞으로 할일도 많은 그런 하루의 시작이었다. diffusion study 정리하고 level1 프로젝트 준비하고 팀업과 같은 사전 사항을 챙기고 level2 프로젝트 사전 조사하고 또 개인사나 일정도 미리미리 정리하며 바쁘게 하루를 보냈다. 강의도 듣고 또 이전의 자료를 정리하고 심화 과제를 다시 보기도 하였지. 심화 과제 다 못본 게 항상 머릿속 어딘가에 남아있는 것 같다. 계속 탭 창 띄워놓고 하나씩 느리지만 해나가고 있다. 그리고 팀원들과 피어섹션 시간에 프로젝트에 관해 개괄적인 얘기를 나누기도 했다. 그런데 더 못할 줄 알았는데 뭐랄까 이거 해버렸다. 프로젝트 EDA... 잠깐 산책 나갔다가 해보면 재밌겠는데 했는데 막상 해보니 이거..

금요일에 코어타임이 끝나자마자 팀원들과 만났기 때문에 학습 일지를 바로 작성하지 못했다. 그리고 피곤해서 또 이것저것 할일을 하다보니 조금씩 미루고 미뤄져 지금 이시간까지 와버렸다. 일단 금요일에 주로 한 것은 BERT 논문 정리 마무리였지. 논문 정리가 빡세긴 하지만 정말 많이 남는 것 같다. 코드도 같이 볼 수 있다면 좋겠지만 아직은 시간이 그렇게 까지 많이 허용되지는 않았다. 앞으로 프로젝트 하면서 모델 코드를 뜯어볼 일은 또 있을 테니까 그때를 위해 남겨두자. 그런데 사실 금요일만 논문을 본 게 아니다. 일요일에 diffusion 스터디가 있었기 때문에 DDPM 논문 리뷰 유투브를 보고 또 DDPM 논문 정리를 시작하기도 했다. 이거는 이번 주 내에만 완성하는 걸로 해야지. 아, 그리고 일요일 d..

논문 링크 : BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models, BERT is designed to pre-train deep bidirectional representations from unla arxiv.org Wikidocs 링크 : 02) 버트(Bidirectional Encoder..

드디어 3회차에 걸친 Git 특강이 끝났다. 사실 오늘은 Git 특강으로 시작해서 Git 특강으로 끝났다고 봐도 무방한 하루였다. Git 특강 이후에는 주재걸 교수님의 마스터 클래스가 있었지만 점심 시간 포함 7시간을 릴레이로 이어진 Git 특강의 아성에 비할 바는 아니었다. 물론 교수님의 마스터 클래스는 임팩트 있었다. 축약적으로 최근 연구 트렌드를 콕콕 짚어주셨다. 하지만 소화 불량... 다 소화하지 못했는데 내용이 계속 넘어갔다. 다행히도 BERT를 이전에 공부해둬서 어찌저찌 이해하고 넘길 수 있었던 것 같다. 오늘은 원격 저장소 다루는 걸 마무리 짓고 git branch 운영 전략과 pull-request, cherry-pick, rebase, revert 등을 학습하였다. 원래 git 따로 복습..

오늘은 어제 생각한 대로 유휴 시간을 많이 두고 학습 및 기타 활동을 진행했다. 다시 말해, 중간 중간 많이 쉬었다. 무리하지 않기 위해 적당히 속도를 낮췄다. 애초에 BERT 논문을 읽는 것밖에 욕심이 없었기도 했고 어제까지 무리한 덕에 눈이 피로해 욕심내서 많이 하고 싶은 생각이 전혀 들지 않기도 했다. 그래도 천천히 읽어서 그런가 BERT 논문 내용은 놓친 것 없이 잘 보고 잘 이해한 것 같다. 요즘은 강의 듣는 거 외에 자료 정리나 스터디 진행 등에 많은 주의를 기울이고 있다 보니까 내 장점이 알고 보니 아카이빙과 커뮤니케이션이었는지도? 라는 생각이 자주 들고 있다. 나의 다른 면도 알게 되고 또 내가 발전하고 있다는 느낌도 들어서 그게 사실이든 아니든 간에 상관없이 좋은 것 같다. 오늘 트위터도..

오늘은 이미 집중력이 고갈되었다. 이 글 마저도 약간 억지로 쓰는 느낌 깃에 너무 집중을 해버렸나 그래도 남는 게 많았던 하루였다. 문제는 그림도 그려야 하는데 도저히 안 될 것 같단 말이지 내일이랑 모레는 균형을 맞춰봐야지 점심 시간 때 그림을 그려야 하나?? 아무튼, 오늘 배운 것 중에 가장 인상 싶었던 것은 git checkout 과 git reset에 대한 내용이었다. git checkout은 head를 직접 움직이는 것이고 git reset은 head가 가리키는 branch를 움직이는 것이다. 그리고 이 둘을 잘 활용하면 version 이동을 자유자재로 할 수 있다!!! 정말 git을 만든 사람은 천재이다. 반박의 여지가 없다. 감사히 잘 써야지 ㅎㅎ 오늘은 NLP 나머지 강의를 완강했는데 당장..

어제 티스토리가 모바일로 들어가지길래 글도 못 쓰는 줄 알았는데 블로그 링크 옆에 글쓰기 버튼으로 접근이 되네;; 이미 하루가 지났으니 간략하게 어제 일을 정리해보자면 level 2 팀 회의를 하였고 이전 기수의 최종 프로젝트를 정리하였고 또 Transformer 부스트캠프 강좌를 수강하였다. 코딩 테스트 준비 채널 운영이나 level 2 팀 회의 및 프로젝트 준비나 diffusion study 스터디의 운영 미 일정 관리와 같은 책임감을 느끼는 활동들이 있는데 그 활동들이 착착 착착 진행되가는 느낌이라 매우 고무적이고 또 매우 뿌듯하다. 더 수준 높은 활동이 되도록 더 노력해야지 후후... 아, 그리고 코딩 테스트 문제는 하나 둘 풀고 있지만 관성적으로 풀고 있을 뿐이지 스스로의 수준을 높이고 있지는 ..

오늘 하루는 정말 말 그대로 그냥 버텼던 것 같다. 전날의 피로가 다 풀리지 않아서 고단했던 것 같다. 그래도 기본 과제 하나는 풀지 못했지만 나머지 할일들은 잘 마무리 지은 것 같다. 오늘의 가장 큰 이슈는 level2 팀 구성이 끝나서 서로 대면하고 프로젝트에 대해 얘기했던 일이다. 내가 일에 치여서인지 바로 본론으로 들어가서 다들 당황했을 것 같은데 얘기 잘 들어주고 또 의견을 적극적으로 피력해주어서 매우 감사했다. 다들 의욕이 넘쳐서 좋다. 지금 팀이랑은 또 다른 매력이 있다. 나도 자극 받아서 더 열심히 해봐야지. 모두에게 좋은 결과가 돌아가도록 최선을 다해볼 생각이다. 이번 주 주말은 또 스터디 하나를 하기로 해서 어쩔 수 없이 바쁜 적응기를 보낼 것 같고 다음 주부터는 작품 활동과의 균형을 ..

Transformer 논문 스터디 준비로 이번 주 강의를 못 들었어서 오늘은 미뤄둔(?) 강의를 모두 들었다. 논문 공부하면서 개념들을 익혔었기 때문에 강의 듣는 것은 비교적 수월하였다. 실습 코드는 아직 다 못봤는데 살짝 보니 퀄리티가 좋아서 내일 아침에는 그거 분석하면서 돌려보고 또 기본 과제 마무리하고 해야할 것 같다. 오늘 마무리 지으려 했었는데 한번 쉬었다가 다시 하려니 힘드네 무리하진 말아야지. 아, 그리고 오늘 다행히도 level2 팀 구성이 마무리됐다. 프로젝트에 정말 관심 있는 분들만 모인 것 같아서 기대가 되고 또 내가 기여할 부분에 대해서도 많은 기대가 된다. 집중해서 좋은 결과를 내고 싶다. 그리고 오늘 멘토님과 짧은 상담도 했다. 멘토님께서 여러모로 신경써주시려고 한 점이 감사했다..