Data/Errors

[Errno 32] Broken pipe

neulvo 2022. 2. 28. 14:18

모델 학습에서 Broken pipe 문제 -> num_workers 파라미터 문제

 

num_workers를 0으로 변경하면 일단 해결됨.

 

num_workers에 대한 pytorch 설명.

Dataloader가 생성된 후 worker 프로세스가 만들어짐.

multi-process가 안되는 환경에서 num_workers를 늘리거나

메모리가 허용하는 것 이상의 num_workers를 설정해서 발생하지 않나 추정함.

728x90