늘보의 서랍

github의 fork 기능을 cli에서 하고자 생각해봤다. 하지만 git bash cli에는 해당 명령어가 없는 것 같고 방법이라면 git remote add upstream으로 레포 연결하고 양쪽을 왔다갔다 할 수밖에 없는 듯 싶다... 이게 fork인가? 그래서 cli에서 하려면 github cli를 환경에 설치해줘야 하는데 그것은 GitHub - cli/cli: GitHub’s official command line tool GitHub’s official command line tool. Contribute to cli/cli development by creating an account on GitHub. github.com 에서 처럼 MacOs는 brew install gh / Conda는 ..

1. 상자로서의 변수 변수 변수 - 위키백과, 우리 모두의 백과사전 위키백과, 우리 모두의 백과사전. ko.wikipedia.org - 수학에서 쓰이는 수식에 따라서 변하는 값 - 컴퓨터 프로그래밍에서 아직 알려지지 않거나 어느 정도까지만 알려져 있는 양이나 정보에 대한 상징적인 이름 - 변인(variable) 또는 변수는 실험에서 관측 대상(종속 변인)과 조작 대상(독립 변인)을 말한다. 2. 변수를 낳는 함수 함수 함수 - 위키백과, 우리 모두의 백과사전 위키백과, 우리 모두의 백과사전. 함수는 입력값에 따라 출력값을 만들어 내는 ‘블랙 박스’와 같다. 수학에서 함수(函數, 영어: function) 또는 사상(寫像, 영어: map, mapping)은 어떤 집합의 각 원소 ko.wikipedia.org..

논문 링크 : EDA: Easy Data Augmentation Techniques for Boosting Performance on Text Classification Tasks We present EDA: easy data augmentation techniques for boosting performance on text classification tasks. EDA consists of four simple but powerful operations: synonym replacement, random insertion, random swap, and random deletion. On five text classificati arxiv.org 코드 링크 : GitHub - jasonwei20/ed..

pytorch 또는 pytorch_lightning 사용할 때, gpu 사용 시에, Segmentation fault (core dumped) 오류가 뜰 때가 있다. 원인은 torch version과 torchvision version이 호환되지 않아서 이고 이 경우에는 torch version을 먼저 확인해주는 것이 좋다. 위와 같이 torch version이 cuda 또는 gpu를 호환하는 게 확인됐다면 torchvision 에서 같은 version의 cuda를 호환하지 않을 가능성이 있다. (만약, torch version이 cuda를 호환하지 않는다면 torch를 재설치해야 한다.) 그렇다면 기존의 torchvision을 pip uninstall torchvision 명령어를 통해 삭제하고 아래 ..

DL abstract 딥러닝 모델 학습은 모델 출력과 정답 사이의 오차(error)를 최소화하는 방향을 구하고 이 방향에 맞춰 모델 전체의 파라미터(parameter)들을 업데이트하는 과정입니다. 이때 오차를 손실(loss), 오차를 최소화하는 방향을 그래디언트(gradient)라고 합니다. 오차를 최소화하는 과정을 최적화(optimization)라고 합니다. 회귀분석에서 손실함수로 사용되는 -노름은 예측 오차의 분산을 가장 최소화하는 방향으로 학습을 유도합니다. 분류문제에서 사용되는 교차엔트로피(cross-entropy)는 모델 예측의 불확실성을 최소화하는 방향으로 학습을 유도합니다. 데이터가 특정 확률 분포를 따른다고 선험적으로(apriori) 가정한 후 그 분포를 결정하는 모수(parameter)를..

논문 링크 : BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding We introduce a new language representation model called BERT, which stands for Bidirectional Encoder Representations from Transformers. Unlike recent language representation models, BERT is designed to pre-train deep bidirectional representations from unla arxiv.org Wikidocs 링크 : 02) 버트(Bidirectional Encoder..

논문 링크 : Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder through an attention mechanism. We propose a new arxiv.org Jay Alammar 논문 해설(모델 구조 및 작동 원리 with Animation) : The Illustrated Transformer Discussions: Hacker ..

Embedding : 어떤 위상(位相) 공간에서 다른 위상 공간으로의 동상 사상(同相寫像) 위상 : 어떤 사물이 다른 사물과의 관계 속에서 가지는 위치나 상태 동상 : 물리 서로 다른 파동들 사이에 위상 차이가 없어서 골과 골, 마루와 마루의 위치가 같은 상태 사상 : (물리) 물체에서 나온 빛이 거울에 반사 또는 굴절된 다음에 모여서 생기는 상(像) (수학) 어떤 집합의 임의의 원소가 다른 집합의 하나의 원소에 대응할 때, 그 두 집합 간의 대응 관계 -> 한 위치나 상태에서 다른 위치나 상태로의 1대1 대응 Word embedding (위키피디아) word embedding is a term used for the representation of words for text analysis, typic..

논문 링크 : Distributed Representations of Words and Phrases and their Compositionality The recently introduced continuous Skip-gram model is an efficient method for learning high-quality distributed vector representations that capture a large number of precise syntactic and semantic word relationships. In this paper we present several extens arxiv.org 자료 링크 : - 모델의 구조 및 동작에 대한 설명이 디테일하게 잘 되어 있음 - w..

논문 링크 : Sequence to Sequence Learning with Neural Networks Deep Neural Networks (DNNs) are powerful models that have achieved excellent performance on difficult learning tasks. Although DNNs work well whenever large labeled training sets are available, they cannot be used to map sequences to sequences. In this pap arxiv.org 참고 자료 링크 : 1) 시퀀스-투-시퀀스(Sequence-to-Sequence, seq2seq) 이번 실습은 케라스 함수형 AP..