분류 전체보기 914

Hugging Face, Training a causal language model from scratch

Training a causal language model from scratch - Hugging Face Course Up until now, we’ve mostly been using pretrained models and fine-tuning them for new use cases by reusing the weights from pretraining. As we saw in Chapter 1, this is commonly referred to as transfer learning, and it’s a very successful strategy for a huggingface.co Causal language model을 처음부터 학습시켜보는 강의 내용. 여기서 Text generation ..

Data/Information 2022.04.01

[독후감] 공정하다는 착각_마이클 샌델 / 와이즈베리

오랜만에 글을 쓰는 것 같다. 최근에는 취직 준비도 하고 그림을 그리거나 작업물을 올리는 데에 집중하고 있다보니 이렇게 글을 쓸 기회가 많이 없었다. 이 책을 읽기 시작한 지도 꽤 됐는데 이제서야 다 읽고 스크랩하고 독후감을 쓰는 느낌이다. 참고로, 막상 스크랩을 쓰고 나니 글 내용을 너무 많이 담은 것 같아서 이전의 스크랩들과 함께 비공개 처리했다. 스스로에게 필요한 만큼만 다시 보는 용으로 가지고 있을 생각이다. 그럼 이제부터 '공정하다는 착각'에 대해 다뤄볼까. 이 책의 핵심 고민은 '공동선'에 대한 것이다. 우리 사회가 지향하는 바가 무엇이 되어야 할지 또 어떻게 해야 우리가 공동체 의식과 연대 의식을 회복할 수 있을지 저자인 마이클 샌델은 함께 고민해보자고 한다. 그리고 현재의 문제점, 불평등의..

Hugging Face, Summarization

Main NLP tasks - Hugging Face Course In this section we’ll take a look at how Transformer models can be used to condense long documents into summaries, a task known as text summarization. This is one of the most challenging NLP tasks as it requires a range of abilities, such as understandin huggingface.co 문서를 요약하는 text summarization에 대해 알아보자. 필요한 데이터를 load하고 랜덤 샘플을 뽑아 출력해보았다. English와 Spanish의 b..

Data/Information 2022.03.25

Evaluating Student Writing_2nd Place Solution

2nd Place Solution - [CV741 Public727 Private740] Explore and run machine learning code with Kaggle Notebooks | Using data from multiple data sources www.kaggle.com 최근에 참여했던 캐글 공모전의 2nd place를 차지한 코드를 리뷰하고자 한다. 공모전 참여 기간 동안 노트북 작성자의 코드를 보며 많이 배웠기 때문에 최종 코드 또한 살펴보고 싶었다. 코드를 직접 돌려볼 수 있는 환경이 되지 않아서 코드를 읽고 분석하는 작업만 수행하고자 한다. Inference Script with Post Process The following Python script accepts a fi..

Data/코드 리뷰 2022.03.24