Transformer 9

[미라클 모닝 / day 47] 면접 스터디

오늘은 처음으로 면접 스터디를 하였다. 이전에도 면접 스터디였지만 면접 대비 학습의 목적에 가까웠고 이번에는 면접 질문을 직접 해보고 답변하는 방식으로 스터디를 진행하였다. 스터디를 통해 면접 시뮬레이션도 해볼 수 있었고 부족한 점에 대해 생각해볼 수도 있어서 매우 만족스러웠다. 다른 스터디원들도 모두 만족하였다. 앞으로도 계속 잘해나갔으면 하는 바람이다. 오늘 아침에는 일찍 일어나서 축구 경기를 보았다. 잠이 부족했기 때문에 축구 경기가 끝난 이후에는 다시 잠을 잤다. 일어난 이후에는 커피 사오고 코딩 테스트 스터디에 참여하였다. 오늘 문제는 dp였는데 가까스로 풀었다. 3차원 배열을 구성하여서 문제를 해결하였다. 코테 스터디 이후에는 잠시 휴식을 취했고 그 후에는 면접 스터디 준비로 Transform..

[미라클 모닝 / day 29] 후유증

주말 간 많이 쉰 것도 아니었는데 유독 오늘은 정신을 차리기가 어려웠다. 토요일날 코테 본다고 쉬고 또 코테 봤다고 쉬어서 그런가 힘이 잘 나지 않았고 때문에 목표한 것을 다 이루지 못하였다. 아, 어쩌면 어제 6천자 길이의 자소서를 써서 그럴지도 모르겠다. 많이 하지 못했다고 생각했지만 욕심이 과했던 것일 수도 있겠다. 그러네. 할 수 있는 것은 최대한 하려고 했었다. 아침은 요가로 시작하였다. 이제는 루틴이 많이 익숙해져서 그냥 멍 때리면서도 동작들을 할 수 있게 되었다. 요가 이후에는 잠시 휴식을 취하였고 약간 어영부영하다가 오전 코테 스터디에 참여하였다. 요즘 아침에 어영부영하는 시간이 조금씩 늘고 있어서 이때 코딩 테스트 리뷰를 할까 생각하고 있다. 지난 문제들을 다시 보고 대처 방안을 생각할 ..

[학습 일지 / day 21] 아, 이거 되는구나

어제 티스토리가 모바일로 들어가지길래 글도 못 쓰는 줄 알았는데 블로그 링크 옆에 글쓰기 버튼으로 접근이 되네;; 이미 하루가 지났으니 간략하게 어제 일을 정리해보자면 level 2 팀 회의를 하였고 이전 기수의 최종 프로젝트를 정리하였고 또 Transformer 부스트캠프 강좌를 수강하였다. 코딩 테스트 준비 채널 운영이나 level 2 팀 회의 및 프로젝트 준비나 diffusion study 스터디의 운영 미 일정 관리와 같은 책임감을 느끼는 활동들이 있는데 그 활동들이 착착 착착 진행되가는 느낌이라 매우 고무적이고 또 매우 뿌듯하다. 더 수준 높은 활동이 되도록 더 노력해야지 후후... 아, 그리고 코딩 테스트 문제는 하나 둘 풀고 있지만 관성적으로 풀고 있을 뿐이지 스스로의 수준을 높이고 있지는 ..

[학습 일지 / day18] 발표

벌써 18일차라니 4주차라니 생각보다 시간이 빠르게 지나갔다. 매일 매일 할일하기에 바쁘니까 시간 또한 어떻게든 잘 가는 것 같다. 아직 2월까지는 4개월이나 남았지만 이 또한 하루 하루를 성실하게 보내다보면 금방 지나가 있겠지? 싶다. 그렇게 생각하고 나니 내가 원하는 게 뭔지 하고 싶은 게 뭔지 또 어떻게 해야할지 여러 생각들이 드네 그래도 열심히 또 잘하고 있는 것 같으니까 계속 차근 차근 나아가봐야지. 멘토 님과도 얘기를 많이 해봐야할 것 같다. 얘기를 해보면 새롭게 보이는 부분이 있겠지. 뭐, 아무튼 오늘은 Transformer 논문 정리를 마저 했다. 사실 하던 대로 다른 사람이 읽기 편한 자료를 만들기는 했는데 이게 발표 자료는 아니라서 또 욕심냈던 만큼의 완성도로 완성한 것도 아니라서 아쉬..

[논문 같이 읽기] Attention Is All You Need

논문 링크 : Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org Jay Alammar 논문 해설(모델 구조 및 작동 원리 with Animation) : The Illustrated Transformer Discussions: Hacker ..

Data/논문 읽기 2022.10.12

[학습 일지 / day 17] git 학습 및 스터디 준비

오늘은 이고잉 님의 git 수업을 수강하였다. git 강좌는 한 번인가 들어본 적이 있고 그 후에는 실무 때문에 또 프로젝트 때문에 몇몇 명령어만 익혀서 사용하곤 했었다. 그러니까 사실 잘 모르고 썼던 느낌이 강했다. 그런데 이고잉 님 수업을 들으니 체계가 잡히지 않았던 용어와 개념들이 자기 자리를 알아서 착착 찾아갔달까 정말 도움이 되는 명품 강의였다. 그런데 이제 문제는 git 수업 듣고 나니 지쳐버렸다는 거지 아침에 Transformer 공부도 하기도 했으니까 저녁 시간은 억지로라도 Transformer 스터디 자료를 만드려는 나와 더는 못하겠다고 뻗어버리는 나와의 신경전으로 모두 보내버렸다. 진전은 있었지만 많은 진전은 아니었다. 내일 충분히 다 할 수 있겠지? 그러길 바란다. 마감 시간의 기적을..

[학습 일지 / day 16] 탈

오늘도 저번 주 월요일과 마찬가지로 대체 공휴일이었다. 주말 간 친구들이랑 여행을 갔다 와서 다시 맞이한 일상이었다. 수요일에 트랜스포머 발표가 예정되어 있어서 아침부터 관련 링크를 모두 탭창에 올려놓고 트랜스포머를 학습하였다. 오늘 하루 간 트랜스포머의 구조와 작동 방식을 설명해놓은 글 두 개를 읽었다. 사실 시간 상으로는 더 많은 일을 할 수 있는 시간이었는데 어제 많이 먹고 차를 오래 탄 탓에 탈이 나서 책상 앞에 오래 앉아있질 못했다. 어쩔 수 없는 일이라 내일과 모레 일단 최선을 다해보기로 하였다. 내가 원하는 수준의 자료를 만들기엔 빠듯하겠지만 최대한 내용을 정리하고 담아보리라. 그간에 어설프게만 알고 있던 내용이라 다시는 찝찝함을 남기지 않기 위해서라도 열심히 해봐야겠다. 그런데 비단 트랜스..

[학습 일지 / day 14] 적응

이제 몸과 마음이 현재 생활에 많이 적응한 것 같다. 컨디션도 살아나고 의욕도 살아나면서 더 오래 집중할 수 있게 되었고 더 많은 걸 해보고 싶게 되었다. 이전에는 조금 억지로라도 하는 느낌이었지 지금은 바라는 게 많지 않달까 뭔가를 하는 데 있어서 조건이 별로 붙지 않는 것 같다. 그러니까 만약 취업을 위해서 부스트 캠프를 한다라고 하면 사실 맞는 말이긴 하지만 그보다는 그냥 이게 재밌어서 한달까 여기에 집중하는 순간이 좋고 여기에서 관심사가 비슷한 사람들과 만나는 게 좋다. 약간 버거운데라는 생각이 들 정도의 강도가 나한테는 맞는 것도 같다. 하나하나 알아가고 하나하나 채워가는 게 재밌다. 맥주 한 캔을 기울이며 글을 쓰다 보니 감정적이 된 것도 같다;;; 그러니까 이만 줄이고 오늘 배운 내용을 정리..

Hugging Face, pretrained models 불러오기

Sharing models and tokenizers - Hugging Face Course Using pretrained models The Model Hub makes selecting the appropriate model simple, so that using it in any downstream library can be done in a few lines of code. Let’s take a look at how to actually use one of these models, and how to contribute back to huggingface.co 위의 링크의 내용 1. 파이프라인 패키지를 통해 불러오기 - 가장 단순하지만 Task에 맞는 모델을 불러와야함. 2. 모델 아키텍쳐 패키..

Data/Information 2022.02.22