늘보의 서랍

Guide: Pytorch data Samplers & Sequence bucketing Explore and run machine learning code with Kaggle Notebooks | Using data from CommonLit Readability Prize www.kaggle.com 링크의 내용 리뷰하고자 한다. Data Sampler : 주어진 데이터 풀과 배치 사이즈에서 어떻게 배치를 형성할지 결정해주며, 데이터셋의 순서(order)를 결정하기도 한다. Dataloader가 초기화될 때, 그 안에서 데이터셋의 샘플들의 sequence order를 작성한다. 이때 만들어진 sequence를 통해 데이터셋에서 데이터들이 주어진 배치사이즈만큼 배치의 형태로 나오게 된다. dataset..

모델 학습에서 Broken pipe 문제 -> num_workers 파라미터 문제 num_workers를 0으로 변경하면 일단 해결됨. num_workers에 대한 pytorch 설명. Dataloader가 생성된 후 worker 프로세스가 만들어짐. multi-process가 안되는 환경에서 num_workers를 늘리거나 메모리가 허용하는 것 이상의 num_workers를 설정해서 발생하지 않나 추정함.

세상은 유리구슬 안에 담겨 깨져버리지 않게 조심스런 우리의 마음 세상은 비눗방울 안에 담겨 터져버리지 않게 위태로운 우리의 상상 저기 구름이 빽빽하게 여기 안개가 자욱하게 덮어버린 우리의 하루 지금껏 아무도 모르게 앞으로 누구도 모르게 지워져버린 우리 기억 from : https://www.instagram.com/p/CaYm7rDFTK0/?utm_source=ig_web_copy_link

지나가던 강아지의 엉덩이를 무심코 쳐다봤다. 복실복실 뒤뚱뒤뚱 강아지가 나를 돌아본다. 노려본다. 그렇지. 미안. 나도 누가 내 엉덩이 쳐다보면 좀 그럴 것 같긴 해. from : https://www.instagram.com/p/CaWC46qFTGu/?utm_source=ig_web_copy_link

상처받을 수 있대도 진심이고 싶어 난 미움받을 수 있대도 달라지기 싫어 난 인정받지 못한대도 포기하지 않아 난 거절당한다고 해도 두려워하지 않아 난 from : https://www.instagram.com/p/CaTd0Sjl3Yl/?utm_source=ig_web_copy_link

내가 듣고 싶은 다음 노랜 재생 목록 다음 노래. 기호 또는 기억 영향 받은 나는 기억 다음 기호. from : https://www.instagram.com/p/CaQ59oNFTN3/?utm_source=ig_web_copy_link

대단할 수 있어도 우리는 평범해. 초라할 수 있어도 우리는 평범해. 잘할 때도 있지만 못할 때도 있고 운 좋기도 하지만 운 나쁘기도 해. 그래. 우리는 비슷하니까 서로를 이해하자. 우리는 평범하니까 서로를 위해주자. 우리는 함께하니까 서로를 지켜주자. from : https://www.instagram.com/p/CaOZXIXF-Xi/?utm_source=ig_web_copy_link

너와 내가 헤어지면 우리 대화는 무의미한 것이 될까? 우리 대화가 십 원 한 푼 못 볼면 그건 무가치한 걸까? from : https://www.instagram.com/p/CaLvNozl6Rg/?utm_source=ig_web_copy_link

The 🤗 Tokenizers library - Hugging Face Course Introduction In Chapter 3, we looked at how to fine-tune a model on a given task. When we do that, we use the same tokenizer that the model was pretrained with — but what do we do when we want to train a model from scratch? In these cases, using a tokeni huggingface.co 코스 6에 해당하는 내용 1. 기존 토크나이저로 새 토크나이저 학습시키기 데이터셋을 불러오고 사용할 데이터를 확인. generator를 활용해 토..

The 🤗 Datasets library - Hugging Face Course Introduction In Chapter 3 you got your first taste of the 🤗 Datasets library and saw that there were three main steps when it came to fine-tuning a model: Load a dataset from the Hugging Face Hub. Preprocess the data with Dataset.map(). Load and compute huggingface.co 오늘은 chapter 5 내용을 리뷰하고자 한다. 1. Data 불러오기 데이터 로드 및 확인, field를 통해 어디에서 data를 가져올지 지정(j..