SVM ppt자료와 optimization 에서 quadratic programming , duality(이하 KKT <==> strong duality ) 정리한 것 올리기
좌 : 1층 히든레이어의 hyperplane 우: 최종 결과 hyperplane XOR 문제와 확장된 문제를 가지고 Activation function 이 어떻게 초평면을 휘게하는지를 시각적으로…
MNIST 데이터셋을 사용하여 hidden layer 를 1개, 5개, 10개를 주었으며 비교의 대상으로 activation function을 두었다. activation function은 1. 기본 sigmoid 2. 변수1개 sigmoid 3. 변수…
XOR 문제를 해결한 MLP(Multi layer perceptron) 를 구현해보며 많은 사람들이 신봉하는 ReLU function 의 단점과 sigmoid function에 대해 좀 더 관심을 가져본다. ( 교수님께서 알려주신…