밑바닥부터시작하는딥러닝3 6

[밑러닝 3] 제 5고지, Dezero의 도전

52. GPU 지원 53. 모델 저장 및 불러오기 p452. 앞의 코드에서 파일을 저장할 때 try 구문을 사용했습니다. 사용자에 의해 발생하는 'Ctrl + C' 등의 키보드 인터럽트에 대비한 보호 코드입니다. 이 try 구문 덕분에 저장 도중 인터럽트가 발생하면 파일은 삭제됩니다. 불완전한 상태의 파일이 만들어지는 일을, 그리고 나중에 그런 파일을 읽어오는 일을 사전에 방지하는 것이죠. 54. 드롭아웃과 테스트 모드 p455. 신경망 학습에서는 과대적합이 자주 문제가 됩니다. 다음은 과재적합이 일어나는 주요 원인입니다. 1. 훈련 데이터가 적음 2. 모델의 표현력이 지나치게 높음 첫 번째 원인 때문이라면 데이터를 더 확보하거나 데이터 수를 인위적으로 늘리는 데이터 확장(data augmentation..

Data/개념 정리 2023.02.22

[밑러닝 3] 제 4고지, 신경망 만들기 개념 정리

37. 텐서를 다루다 p300. 한편 넘파이에는 브로드캐스트(broadcast)라는 기능이 있습니다. 만약 x와 c의 형상이 다르면 자동으로 데이터를 복사하여 같은 형상의 텐서로 변환해주는 기능입니다. p301. 머신러닝 문제에서는 텐서를 입력받아 스칼라를 출력하는 함수(손실 함수 loss function)을 설정하는 것이 일반적입니다. p303. 텐서의 미분을 머신러닝에서는 '기울기'라고 합니다. 야코비안 - 나무위키 사상 x:D(⊆R2)→R3{\bf x}: D(\subseteq\mathbb R^2)\to\mathbb R^3x:D(⊆R2)→R3가 다음과 같이 정의되어 있다고 하자.x(u, v)=(x(u, v), y(u, v), z(u, v)){\bf x}(u,\,v)=(x(u,\,v),\,y(u,\,v..

Data/개념 정리 2023.01.28

[밑러닝 3] 제 3고지, 고차 미분 계산 개념 정리

25. 계산 그래프 시각화(1) Graphviz Graph Visualization Software graphviz.org 26. 계산 그래프 시각화(2) 27. 테일러 급수 미분 미적분학에서 테일러 급수(Taylor級數, 영어: Taylor series)는 도함수들의 한 점에서의 값으로 계산된 항의 무한합으로 해석함수를 나타내는 방법이다. 테일러 급수 - 위키백과, 우리 모두의 백과사전 위키백과, 우리 모두의 백과사전. 사인 함수의 테일러 급수의 수렴. 검은 선은 사인 함수의 그래프이며, 색이 있는 선들은 테일러 급수를 각각 1차(빨강), 3차(주황), 5차(노랑), 7차(초록), 9차(파랑 ko.wikipedia.org 28. 함수 최적화 p.233 최적화란 어떤 함수가 주어졌을 때 그 최솟값(또는 ..

Data/개념 정리 2023.01.08

[밑러닝 3] 제 2고지, 자연스러운 코드로 개념 정리

11. 가변 길이 인수(순전파 편) p106. 파이썬의 리스트와 튜플은 여러 개의 데이터를 한 줄로 저장합니다. 리스트는 [1,2,3]과 같이 []로 묶고 튜플은 (1,2,3)과 같이 ()로 묶습니다. 리스트와 튜플의 주요 차이는 원소를 변경할 수 있는지 여부입니다. 튜플의 경우 한 번 생성되면 원소를 변경할 수 없습니다. 예를 들어 x = (1, 2, 3)으로 튜플을 생성한 후에는 x[0] = 4 등으로 덮어 쓸 수 없는 것이죠. 반면 리스트는 원소를 변경할 수 있습니다. 12. 가변 길이 인수(개선 편) p110. 함수를 정의할 때 인수 앞에 별표(*)를 붙였습니다. 이렇게 하면 리스트를 사용하는 대신 임의 개수의 인수(가변 길이 인수)를 건네 함수를 호출할 수 있습니다. p112. self.forw..

Data/개념 정리 2022.12.10

[학습 일지 / day47] 주말까지

또 다른 한 주가 시작되었다. 하지만 아직 저번 주 금요일의 학습 일지를 작성하지 못했다. 그래서 금요일 학습 일지를 뒤늦게나마 작성할 겸 또 주말에 한 내용들도 같이 정리할 겸 이렇게 글을 쓰고 있다. 저번 주 금요일에는 팀 내 오프라인 미팅을 함께 진행했다. 노량진 역에 모여서 팀원들과 함께 프로젝트에 대해 논의하고 몰입하였다. 멘토링한 것을 토대로 업무를 나누기도 하였고 무엇을 해왔는지 앞으로 무엇을 할건지 또 어떻게 할건지 논의하기도 하였다. 대화가 많이 오가서 좋았으며 그 부분에 대해서는 감사하기도 하다. 코어 타임이 끝난 이후에는 함께 밥 먹고 또 놀면서 하루를 마감하였다 좋은 하루였다. 주말 동안에는 프로젝트 관해서 나누어 진행하기로 한 부분을 진행하기도 하였고 또 이전에 논의 나온 부분이나..

[밑러닝 3] 제 1고지, 미분 자동 계산 개념 정리

1. 상자로서의 변수 변수 변수 - 위키백과, 우리 모두의 백과사전 위키백과, 우리 모두의 백과사전. ko.wikipedia.org - 수학에서 쓰이는 수식에 따라서 변하는 값 - 컴퓨터 프로그래밍에서 아직 알려지지 않거나 어느 정도까지만 알려져 있는 양이나 정보에 대한 상징적인 이름 - 변인(variable) 또는 변수는 실험에서 관측 대상(종속 변인)과 조작 대상(독립 변인)을 말한다. 2. 변수를 낳는 함수 함수 함수 - 위키백과, 우리 모두의 백과사전 위키백과, 우리 모두의 백과사전. 함수는 입력값에 따라 출력값을 만들어 내는 ‘블랙 박스’와 같다. 수학에서 함수(函數, 영어: function) 또는 사상(寫像, 영어: map, mapping)은 어떤 집합의 각 원소 ko.wikipedia.org..

Data/개념 정리 2022.11.20