optimization_theory 1차미분 gradient descent (step size : 0.01) 을 이용한 y = x**4 함수의 해 찾기 1,000,000번을 반복했지만 평평한 기울기 때문에 최적해인 0에…
XOR 문제를 저번에 풀어보았는데 XOR 문제를 확장시켜 아래와 같은 문제를 생각해본다. (교수님이 알려주심) 이 문제는 0과 같거나 큰 임의의 정수 두개를 뽑아 더한 후 2로…
SVM ppt자료와 optimization 에서 quadratic programming , duality(이하 KKT <==> strong duality ) 정리한 것 올리기
좌 : 1층 히든레이어의 hyperplane 우: 최종 결과 hyperplane XOR 문제와 확장된 문제를 가지고 Activation function 이 어떻게 초평면을 휘게하는지를 시각적으로…
XOR 문제를 해결한 MLP(Multi layer perceptron) 를 구현해보며 많은 사람들이 신봉하는 ReLU function 의 단점과 sigmoid function에 대해 좀 더 관심을 가져본다. ( 교수님께서 알려주신…
Early stopping Regularization 방법 중 간단하면서도 효율적인 전략으로 많이 쓰이는 방법이다. 조기 종료(early stopping) 방법은 목적 함수의 loss 값이 더 좋은 쪽으로 갱신되지 않고…