늘보의 서랍

52. GPU 지원 53. 모델 저장 및 불러오기 p452. 앞의 코드에서 파일을 저장할 때 try 구문을 사용했습니다. 사용자에 의해 발생하는 'Ctrl + C' 등의 키보드 인터럽트에 대비한 보호 코드입니다. 이 try 구문 덕분에 저장 도중 인터럽트가 발생하면 파일은 삭제됩니다. 불완전한 상태의 파일이 만들어지는 일을, 그리고 나중에 그런 파일을 읽어오는 일을 사전에 방지하는 것이죠. 54. 드롭아웃과 테스트 모드 p455. 신경망 학습에서는 과대적합이 자주 문제가 됩니다. 다음은 과재적합이 일어나는 주요 원인입니다. 1. 훈련 데이터가 적음 2. 모델의 표현력이 지나치게 높음 첫 번째 원인 때문이라면 데이터를 더 확보하거나 데이터 수를 인위적으로 늘리는 데이터 확장(data augmentation..

37. 텐서를 다루다 p300. 한편 넘파이에는 브로드캐스트(broadcast)라는 기능이 있습니다. 만약 x와 c의 형상이 다르면 자동으로 데이터를 복사하여 같은 형상의 텐서로 변환해주는 기능입니다. p301. 머신러닝 문제에서는 텐서를 입력받아 스칼라를 출력하는 함수(손실 함수 loss function)을 설정하는 것이 일반적입니다. p303. 텐서의 미분을 머신러닝에서는 '기울기'라고 합니다. 야코비안 - 나무위키 사상 x:D(⊆R2)→R3{\bf x}: D(\subseteq\mathbb R^2)\to\mathbb R^3x:D(⊆R2)→R3가 다음과 같이 정의되어 있다고 하자.x(u, v)=(x(u, v), y(u, v), z(u, v)){\bf x}(u,\,v)=(x(u,\,v),\,y(u,\,v..

25. 계산 그래프 시각화(1) Graphviz Graph Visualization Software graphviz.org 26. 계산 그래프 시각화(2) 27. 테일러 급수 미분 미적분학에서 테일러 급수(Taylor級數, 영어: Taylor series)는 도함수들의 한 점에서의 값으로 계산된 항의 무한합으로 해석함수를 나타내는 방법이다. 테일러 급수 - 위키백과, 우리 모두의 백과사전 위키백과, 우리 모두의 백과사전. 사인 함수의 테일러 급수의 수렴. 검은 선은 사인 함수의 그래프이며, 색이 있는 선들은 테일러 급수를 각각 1차(빨강), 3차(주황), 5차(노랑), 7차(초록), 9차(파랑 ko.wikipedia.org 28. 함수 최적화 p.233 최적화란 어떤 함수가 주어졌을 때 그 최솟값(또는 ..

11. 가변 길이 인수(순전파 편) p106. 파이썬의 리스트와 튜플은 여러 개의 데이터를 한 줄로 저장합니다. 리스트는 [1,2,3]과 같이 []로 묶고 튜플은 (1,2,3)과 같이 ()로 묶습니다. 리스트와 튜플의 주요 차이는 원소를 변경할 수 있는지 여부입니다. 튜플의 경우 한 번 생성되면 원소를 변경할 수 없습니다. 예를 들어 x = (1, 2, 3)으로 튜플을 생성한 후에는 x[0] = 4 등으로 덮어 쓸 수 없는 것이죠. 반면 리스트는 원소를 변경할 수 있습니다. 12. 가변 길이 인수(개선 편) p110. 함수를 정의할 때 인수 앞에 별표(*)를 붙였습니다. 이렇게 하면 리스트를 사용하는 대신 임의 개수의 인수(가변 길이 인수)를 건네 함수를 호출할 수 있습니다. p112. self.forw..

1. 상자로서의 변수 변수 변수 - 위키백과, 우리 모두의 백과사전 위키백과, 우리 모두의 백과사전. ko.wikipedia.org - 수학에서 쓰이는 수식에 따라서 변하는 값 - 컴퓨터 프로그래밍에서 아직 알려지지 않거나 어느 정도까지만 알려져 있는 양이나 정보에 대한 상징적인 이름 - 변인(variable) 또는 변수는 실험에서 관측 대상(종속 변인)과 조작 대상(독립 변인)을 말한다. 2. 변수를 낳는 함수 함수 함수 - 위키백과, 우리 모두의 백과사전 위키백과, 우리 모두의 백과사전. 함수는 입력값에 따라 출력값을 만들어 내는 ‘블랙 박스’와 같다. 수학에서 함수(函數, 영어: function) 또는 사상(寫像, 영어: map, mapping)은 어떤 집합의 각 원소 ko.wikipedia.org..

DL abstract 딥러닝 모델 학습은 모델 출력과 정답 사이의 오차(error)를 최소화하는 방향을 구하고 이 방향에 맞춰 모델 전체의 파라미터(parameter)들을 업데이트하는 과정입니다. 이때 오차를 손실(loss), 오차를 최소화하는 방향을 그래디언트(gradient)라고 합니다. 오차를 최소화하는 과정을 최적화(optimization)라고 합니다. 회귀분석에서 손실함수로 사용되는 -노름은 예측 오차의 분산을 가장 최소화하는 방향으로 학습을 유도합니다. 분류문제에서 사용되는 교차엔트로피(cross-entropy)는 모델 예측의 불확실성을 최소화하는 방향으로 학습을 유도합니다. 데이터가 특정 확률 분포를 따른다고 선험적으로(apriori) 가정한 후 그 분포를 결정하는 모수(parameter)를..

Embedding : 어떤 위상(位相) 공간에서 다른 위상 공간으로의 동상 사상(同相寫像) 위상 : 어떤 사물이 다른 사물과의 관계 속에서 가지는 위치나 상태 동상 : 물리 서로 다른 파동들 사이에 위상 차이가 없어서 골과 골, 마루와 마루의 위치가 같은 상태 사상 : (물리) 물체에서 나온 빛이 거울에 반사 또는 굴절된 다음에 모여서 생기는 상(像) (수학) 어떤 집합의 임의의 원소가 다른 집합의 하나의 원소에 대응할 때, 그 두 집합 간의 대응 관계 -> 한 위치나 상태에서 다른 위치나 상태로의 1대1 대응 Word embedding (위키피디아) word embedding is a term used for the representation of words for text analysis, typic..