늘보의 서랍

Language Models are Few-Shot LearnersRecent work has demonstrated substantial gains on many NLP tasks and benchmarks by pre-training on a large corpus of text followed by fine-tuning on a specific task. While typically task-agnostic in architecture, this method still requires task-specific fiarxiv.orgAbstractLanguage model의 사이즈를 키우는 것(scaling up)이 과제에 유연한 few-shot 성능을 크게 상승시킴gradient update나 fin..

이발 예약 날짜를 잘못 알았었다. 영락 없이 오늘이 예약 일자인 줄 알고 미용실에 갔는데 선생님이 계시지 않았다. 헛걸음이 될 수 있었는데 마침 심부름 거리가 생겨서 구실이 되어주었다. 다행이었다. 아침은 요가로 시작하였다. 가볍게 요가를 하고 나서는 코딩 테스트 문제 리뷰하고 스위핑 알고리즘에 대해 찾아봤었다. 지금은 하나의 풀이만 다루었는데 추후에 다시 볼 때 다른 풀이들도 봐둘 생각이다. 다양한 해결 방법을 알고 있는 게 좋을 것 같다. 그리고 시간이 조금 남아서 코딩 테스트 문제를 미리 풀었다. 다이내믹 프로그래밍 문제였는데 풀이를 참고했다. 귀가 후에는 MLOps 강의를 들었다. 이번 주에 밀린 강의들이 많다. 주말까지도 꾸준히 들어야 된다. 그래서 이번 주말에는 MLOps 강의를 다 듣는 게 ..

오늘 하루도 바쁘게 지나갔다. 아침에는 전날 무리해서인지 일어나는 게 좀 힘들었다. 그래서 평소보다 늦게 일어났다. 그래도 하루의 시작은 역시나 요가였다. 요가를 한 이후에는 커피를 사오고 코테 풀이를 다시 보는 등 얼렁뚱땅 시간을 보내다가 오전 코딩 테스트 문제 풀이를 하였다. 이분 탐색 문제였는데 구현에 애를 먹었다. 풀이 방법이 보이지 않아 아쉬웠다. 그래도 정답 코드 이해는 잘 됐다. 연습이 더 필요한 유형이다. 코드 리뷰까지 마친 이후에는 AI 면접 스터디 준비를 하였다. 미리 준비된 질의에 답을 하고 다른 사람들의 답도 확인하였다. 그 후에는 코딩 테스트 스터디의 문제를 풀었다. 공교롭게도 이 스터디의 문제들도 모두 이분 탐색이었는데 시간이 촉박해서 자세히 살펴보지는 못하였다. 20분 내외의 ..

오늘은 어제 계획한 대로 못다한 MLOps 자료 정리를 마무리하고 티스토리에 올려놨던 논문 자료들을 노션으로 백업하였다. 자료들이 흩어져 있는 것이 괜히 신경 쓰여서 복사 붙여넣기를 열심히 하여 옮겨 놓았다. 옮기면서 그간 자료 정리한 것들을 다시 보니까 꽤 열심히 해놨구나 싶었다. 앞으로도 잘 해봐야지. 꾸준히 이어나가야 한다. 오늘 역시 아침에 일어나고 나서 바로 요가를 하였다. 바로 공부를 할 정신은 아니어서 간단히 책을 읽었고 이후에는 프랑스어 공부를 하였다. 이번 주의 목표는 어느 정도 이룬 것 같다. 그 다음으로는 MLOps 자료를 정리하였고 잠시 외출을 나갔다 온 다음에 코딩 테스트 문제를 풀고 스터디에 참여하였다. 이번 주의 분량들을 완전하게 잘 푼 느낌은 아니라서 주말에 한 번 다시 풀어..

오늘의 특이사항, MLOps 스터디를 시작하였다. 취업 준비를 하고 있는 중이지만 취업 준비에 매몰되고 싶지 않았고 스스로의 역량을 꾸준히 발전시켜나가고 싶었다. 그러던 중 모두의 연구소와 가짜 연구소를 알게 되었고 모두의 연구소에서는 MLOps를 가짜 연구소에서는 Data Engineering 스터디를 신청하였다. TMI로 가짜 연구소는 선발식인데 뽑히지 않았다. 청강은 고민 중이다. 일단 오늘 MLOps 스터디의 첫 시간을 가졌는데 미리 학습한 내용을 기반으로 짧게 이야기를 나누었다. 내용은 Overview of the ML lifecycle and deployment에 대한 것이었다. ML Lifecycle을 기반으로 각 단계들이 어떻게 구성이 되는지 또 각 단계에서 고려해야 할 것이나 주의해야할 ..

Training a causal language model from scratch - Hugging Face Course Up until now, we’ve mostly been using pretrained models and fine-tuning them for new use cases by reusing the weights from pretraining. As we saw in Chapter 1, this is commonly referred to as transfer learning, and it’s a very successful strategy for a huggingface.co Causal language model을 처음부터 학습시켜보는 강의 내용. 여기서 Text generation ..