늘보의 서랍

Data Augmentation (CSV&TXT) using Back Translation Explore and run machine learning code with Kaggle Notebooks | Using data from multiple data sources www.kaggle.com 캐글 공모전에 참가하면서 분석한 상위 링크의 코드를 리뷰하고자 한다. NLP 문제에 대해 Data Augmentation을 적용해 Train 볼륨을 늘리는 코드이다. Data Augmentation을 위해 NLPaug 라는 라이브러리를 설치하고 관련 패키지를 불러온다. nlpaug — nlpaug 1.1.10 documentation © Copyright 2019, Edward Ma Revision bb2fc63..

TensorFlow - LongFormer - NER - [CV 0.633] Explore and run machine learning code with Kaggle Notebooks | Using data from multiple data sources www.kaggle.com 캐글 공모전에 참가하면서 분석한 상위 링크의 코드를 리뷰하고자 한다. NLP 문제에 대해 Longformer 모델을 TensorFlow 구문으로 학습한 코드이다. Furthermore this notebook is one fold. It trains with 90% data and validates on 10% data. We can convert this notebook to K-fold or train with 100% d..

two longformers are better than 1 Explore and run machine learning code with Kaggle Notebooks | Using data from multiple data sources www.kaggle.com 캐글 공모전에 참가하면서 분석한 상위 링크의 코드를 리뷰하고자 한다. NLP 문제에 대해 2개의 롱포머 모델을 사용한 코드이다. 패키지 불러오기 + 캐시 비워주기 NER 토큰 맵 만들어주기 + 경로 설정(배치와 최대 길이) input_ids(시작과 끝 부분에 특수 토큰 만들어주기) 와 attention mask 만들어주기 배치를 하나씩 가져와서 패딩을 달리 해주는 dynamic padding tez.Model을 arg로 받는 함수. AutoC..