늘보의 서랍

좋은 생각은 금새 시드니까 바로 담아내줘야 해. 나쁜 생각은 금새 자라니까 바로 솎아내줘야 해. 너무 빠져버리지 않게 너무 무심해지지 않게 항상 주의를 기울여 줘야해. from : https://www.instagram.com/p/CbEZd71Lmao/?utm_source=ig_web_copy_link

Main NLP tasks - Hugging Face Course Let’s now dive into translation. This is another sequence-to-sequence task, which means it’s a problem that can be formulated as going from one sequence to another. In that sense the problem is pretty close to summarization, and you could adapt what we huggingface.co sequence-to-sequence task인 translation에 대해 학습해보자. task에 맞는 dataset을 불러오고 그 안의 샘플을 뽑아보았다. pipe..

Main NLP tasks - Hugging Face Course For many NLP applications involving Transformer models, you can simply take a pretrained model from the Hugging Face Hub and fine-tune it directly on your data for the task at hand. Provided that the corpus used for pretraining is not too different from th huggingface.co This process of fine-tuning a pretrained language model on in-domain data is usually call..

Main NLP tasks - Hugging Face Course The first application we’ll explore is token classification. This generic task encompasses any problem that can be formulated as “attributing a label to each token in a sentence,” such as: Of course, there are many other types of token classification huggingface.co 이전에 Tokenizer에 대해 학습하였는데 이제는 그것을 활용해서 토큰을 분류해주는 Token classification에 대해 학습해보고자 한다. 여기서 소개하는 것은..

Data Augmentation (CSV&TXT) using Back Translation Explore and run machine learning code with Kaggle Notebooks | Using data from multiple data sources www.kaggle.com 캐글 공모전에 참가하면서 분석한 상위 링크의 코드를 리뷰하고자 한다. NLP 문제에 대해 Data Augmentation을 적용해 Train 볼륨을 늘리는 코드이다. Data Augmentation을 위해 NLPaug 라는 라이브러리를 설치하고 관련 패키지를 불러온다. nlpaug — nlpaug 1.1.10 documentation © Copyright 2019, Edward Ma Revision bb2fc63..

TensorFlow - LongFormer - NER - [CV 0.633] Explore and run machine learning code with Kaggle Notebooks | Using data from multiple data sources www.kaggle.com 캐글 공모전에 참가하면서 분석한 상위 링크의 코드를 리뷰하고자 한다. NLP 문제에 대해 Longformer 모델을 TensorFlow 구문으로 학습한 코드이다. Furthermore this notebook is one fold. It trains with 90% data and validates on 10% data. We can convert this notebook to K-fold or train with 100% d..

two longformers are better than 1 Explore and run machine learning code with Kaggle Notebooks | Using data from multiple data sources www.kaggle.com 캐글 공모전에 참가하면서 분석한 상위 링크의 코드를 리뷰하고자 한다. NLP 문제에 대해 2개의 롱포머 모델을 사용한 코드이다. 패키지 불러오기 + 캐시 비워주기 NER 토큰 맵 만들어주기 + 경로 설정(배치와 최대 길이) input_ids(시작과 끝 부분에 특수 토큰 만들어주기) 와 attention mask 만들어주기 배치를 하나씩 가져와서 패딩을 달리 해주는 dynamic padding tez.Model을 arg로 받는 함수. AutoC..

달리지지 않았던 나는 이제 달라짐을 꿈꾸네 줄곧 무기력했던 나는 이제 움츠러들지 않네 많이 욕심부리지 말고 적당히 포기하지 않고 꾸준히 목표를 향해서 실패를 딛고 나아가면 달라질 것이라고 나는 이제 믿어 의심치않네. from : https://www.instagram.com/p/Ca8qTi8PLp9/?utm_source=ig_web_copy_link

멈출수 없어 멈추지 못해. 타버린 건 원망 묻어버린 건 후회 타버린 건 열망 묻어버린 건 미련 멈출수 없어 멈추지 못해. 멈추기 싫어. 멈추기 싫어. from : https://www.instagram.com/p/Ca6Ghjwl7jr/?utm_source=ig_web_copy_link

가로선이 하나 세로선이 하나 가로선이 하나 세로선이 하나 그안은 아늑함 그안은 가혹함 from : https://www.instagram.com/p/Ca3h-JRF7BA/?utm_source=ig_web_copy_link