예전에 Mnist 데이터를 CNN 으로 돌릴 때, CNN 과 DNN 쪽 모두에 활성화 함수를 빼고 max pooling 만 진행한 결과 accuracy 가 90초반대로 높게 나왔던…
optimization_theory 1차미분 gradient descent (step size : 0.01) 을 이용한 y = x**4 함수의 해 찾기 1,000,000번을 반복했지만 평평한 기울기 때문에 최적해인 0에…
앞전과 같이 iris data 를 사용하는데 , iris data 는 4개의 변수 ( Sepal length, width, Petal length, width ) 들로 이루어져 있고 그에 대응하는…
PCR 을 구현하기 앞서 iris data set 에서 y label 을 setosa 와 versicolor 두 개만 사용하여 logistic regression 을 구현해본다. ( 꽃잎의 길이 너비,…
이항분포를 따르는 최대가능우도 추정을 통해 구한 것을 코드로 구현함. sklearn 에서 제공하는 Logistic Regression 과 이 데이터셋에서 성능이 동일하다. 궁금한 점 : 추정 후…
https://github.com/gjtrj55/ML/blob/master/linear_regression.ipynb
MNIST 데이터셋을 사용하여 hidden layer 를 1개, 5개, 10개를 주었으며 비교의 대상으로 activation function을 두었다. activation function은 1. 기본 sigmoid 2. 변수1개 sigmoid 3. 변수…
저번에 2층 DNN 구현을 한 것에 이어 일반화하여 hidden layer의 수를 n개 수용할 수 있는 DNN 을 구현했다. 추가된 것으로 활성화 함수로 relu 와 sigmoid…
처음부터 하나씩 머릿 속으로 그리고 스케치하며 작동원리를 생각했다. tensor 차원을 다루는 방법을 알았으며 몇 가지 신기한 테크닉 또한 배웠다. 오차역전파를 통한 빠른 학습이 중앙차분으로 코딩한…