늘보의 서랍

pytorch 또는 pytorch_lightning 사용할 때, gpu 사용 시에, Segmentation fault (core dumped) 오류가 뜰 때가 있다. 원인은 torch version과 torchvision version이 호환되지 않아서 이고 이 경우에는 torch version을 먼저 확인해주는 것이 좋다. 위와 같이 torch version이 cuda 또는 gpu를 호환하는 게 확인됐다면 torchvision 에서 같은 version의 cuda를 호환하지 않을 가능성이 있다. (만약, torch version이 cuda를 호환하지 않는다면 torch를 재설치해야 한다.) 그렇다면 기존의 torchvision을 pip uninstall torchvision 명령어를 통해 삭제하고 아래 ..

와... 하루 종일 기본 과제를 풀었다. 오전에 코테 공부하고 오후에 자소서 2개 쓰고 그리고 나서 강의를 듣기 시작했다. 강의 자체는 가벼운 느낌이었는데 기본 과제가 정말 양이 많고 헤비했다. 그래도 과제로 내준 문서를 차근차근 따라가며 학습을 하다보니 pytorch에 대한 전반적인 이해도가 높아진 것 같아서 되게 뿌듯한 느낌이다. 문제 풀이는 최대한 스스로 하려고 했지만 막혀서 답이 안 보이는 경우에는 자료를 찾아보기도 했다. torch.gather() 나 hook의 사용이 낯설었고 또 어려웠다. 강의 내용 중에 행렬 곱셈 연산에 torch.mm() 함수를 쓴다고 해서 오... 그랬구나 했는데 이제는 너무나도 익숙해져버렸다. 기본적인 함수들은 이미 몸에 베어버린 것만 같다. 와... 이제 자야지 정말..

feedback-nn-train Explore and run machine learning code with Kaggle Notebooks | Using data from Feedback Prize - Evaluating Student Writing www.kaggle.com 참여했던 캐글 공모전의 1nd place solution을 분석해보려고 한다. 작성된 method 위주로 리뷰를 해보겠다. 교집합, 즉 얼마나 두 집단이 겹쳐있느냐를 파악하는 함수. set()을 활용했다. f1_score를 구하는 함수. log와 slient를 파라미터로 주어 slient에 따라 함수 아래의 문장을 실행하도록 하였다. 예측값과 실제값의 고유값을 비교해주고자 한듯 하다. slient는 오타인 것 같다. 그리고 아래에서..

Main NLP tasks - Hugging Face Course Let’s now dive into translation. This is another sequence-to-sequence task, which means it’s a problem that can be formulated as going from one sequence to another. In that sense the problem is pretty close to summarization, and you could adapt what we huggingface.co sequence-to-sequence task인 translation에 대해 학습해보자. task에 맞는 dataset을 불러오고 그 안의 샘플을 뽑아보았다. pipe..

모델 학습에서 Broken pipe 문제 -> num_workers 파라미터 문제 num_workers를 0으로 변경하면 일단 해결됨. num_workers에 대한 pytorch 설명. Dataloader가 생성된 후 worker 프로세스가 만들어짐. multi-process가 안되는 환경에서 num_workers를 늘리거나 메모리가 허용하는 것 이상의 num_workers를 설정해서 발생하지 않나 추정함.

GPU에 맞는 CUDA를 설치하고 cuDNN kit 까지 잘 설치하고 GPU 디바이스가 설치된 것이 확인됐는데도 torch.cuda.is_available()이 False라면 torch 버젼을 확인하고 다시 깔아주자. CUDA 버젼 확인 내 경우, torch version이 1.10.2+cpu로 되어있어서 gpu를 못잡았더라. Pytorch uinstall PyTorch An open source machine learning framework that accelerates the path from research prototyping to production deployment. pytorch.org 파이토치 사이트 방문 후 맞는 사양을 선택하고 Run this command의 코드를 프롬프트에 복사,..