[학습 일지 / day 27] 고삐

어제 늦게 잠에 들기도 하였고

또 피로가 많이 쌓인 상태였기 때문에

오늘은 생각만큼 오랜 시간 동안 집중력을 유지하진 못했다.

 

핑계긴 하지만 아무튼 그랬다.

그래도 강의를 2강 내용까지 다 들었고

EDA 좀 더 하고 github 폴더 관리하고 workflow 파일을 만들어

연구의 흐름을 기록해두기 시작하였다.

 

diffusion study의 workflow도 만들긴 해야 되는데

일단 그거는 급한 게 아니니까 뒤로 미뤄두자.

 

또 하나 딥러닝 수학 스터디를 위해

딥러닝을 위한 선형대수학 책을 1-4 챕터까지 읽었다.

문제 풀이까지는 도저히 할 시간이 안 되었다.

그럼에도 불구하고 최소한의 책임은 다해야 한다고 생각해서

내용을 다 읽기라도 하고 스터디에 참여하였다.

그런데 결론은 학습 서적을 바꾸자였다.

실제로 그 내용이 선형대수를 잘 안다는 전제 하의

내용인 것 같아서 무리라는 생각이 많이 들기는 하였다.

책을 다시 고르기로 했으니까

그것만 정리되면 앞으로 쭉쭉 나아갈 것 같은 느낌의 스터디였다.

 

오늘은 심화 과제 내용을 다 읽어보기까지 했네.

직접 문제를 풀어 보지는 못해서 아쉬운 감이 없지 않아 있지만

시간과 체력은 한정적이니까 어쩔 수 없는 것 같다.

그래도 지향하는 바를 놓치지 않고 있다면

언젠가는 그곳에 근접할 것이라 생각하고 있다.

다시 말해서, 나중에 기회가 생길 때 더 깊게 파보고 또 연구해보겠다는 말이다.

 

지금은 연구보다는 실전 느낌이 더 필요한 것 같다.

그래도 논문 읽거나 코드 짜는 것을 게을리하고 있지는 않으니까 뭐 괜찮겠지!

코드 짜는 것도 온라인 풀이 전에 문제를 다 직접 풀어보고 보기로 했으니까

조금씩은 발전하지 않을까 그렇게 생각하고 있다.

아래는 막간을 이용한 학습 정리.

 

Data Preparation - 입출력 데이터를 담는 Tensor를 생성하는 과정
Model Implementation - 신경망 학습을 위한 모델을 구현하는 과정
Loss Implementation - 모델이 얼마나 틀렸는지를 추정하기 위한 함수 설정
updater Implementation - 초기에 설정된 가중치에서 최적의 가중치로 조정하는 옵티마이저를 구현하는 과정
Iterative Learning - 데이터 Feeding을 통한 모델 반복 학습 및 검증

Train & Validation
Feed Forward - Loss Calculation - Parameter Update - performance check

Test
Feed Forward

Pytorch Lightning

Data Preparation => PyTorchLightning.lightningDataModule + pytorch.utils.data.Dataset
Model Implementation -  |
Loss Implementation -    | => PyTorchLightning.LightningModule
updater Implementation -| 
Iterative Learning => PyTorchLightning.Trainer

nn.Module -> pl.LightningModule


어떤 함수의 최대값을 찾는 방법 중 가장 보편적인 방법은 
미분계수가 0이 되는 지점을 찾는 것입니다. 
즉, 찾고자하는 파라미터  θ 에 대하여 다음과 같이 편미분하고 
그 값이 0이 되도록 하는  θ 를 찾는 과정을 통해 
likelihood 함수를 최대화 시켜줄 수 있는  θ 를 찾을 수 있습니다.

 

다시 회고로 돌아오자면,

일단 오늘까지 생각했던 최소한의 할일은 다 했던 것 같고

이제 내일은 오프라인 강의장에 가서

level 2 팀원 만나고 회의, 그리고 또 피어 세션, 스터디, 마스터 클래스, 코테 온라인 풀이 등의

일정을 소화해야 한다.

GPT1- 논문을 읽고 온라인 풀이 문제를 풀고 코드 해석하는 것이

부가적으로 할 과제들이다.

 

사실 오늘 data augmentation 까지 만져보고 대회 게시판에 공유할 계획이랄까

욕심이 있었는데 한국어라 이전에 썼던 방법을 쓰기엔 무리가 있더라.

일단 내일 할일하고 그다음에 생각해봐야지.

아! 수학 스터디 교재 고르러 서점에 들르기도 해야 한다.

아무튼, 오늘도 열심히 했고 또 수고 많았다. 이 글을 읽고 있을 당신도:)

감사한 일이다. 내일도 화이팅 해보자!