XOR 문제 ,딥러닝에 관해

XOR 문제를 해결한 MLP(Multi layer perceptron) 를 구현해보며 많은 사람들이 신봉하는 ReLU function 의 단점과 sigmoid function에 대해 좀 더 관심을 가져본다. ( 교수님께서 알려주신 내용 ) 이에 대한 결과를 관찰하며 ReLU가 왜 항상 잘 작동하지 않는지 더 좋은 activation function이 있는지 , activation function에 대한 의미와 역할에 대해 많은 생각을 해봐야 한다.

1. XOR 문제를 다양한 hidden layer와 node 개수로 조절하여 비교해본다. (기본 sigmoid 함수를 사용)  https://github.com/gjtrj55/ML/blob/master/XOR_cross.ipynb
2. 2d 그래프로 표현       https://github.com/gjtrj55/ML/blob/master/XOR2d_visual.ipynb
3. 3d 그래프로 표현       https://github.com/gjtrj55/ML/blob/master/XORvisual_3d.ipynb
4. activation function 의 기하적 역할   https://github.com/gjtrj55/ML/blob/master/activation_mean.ipynb

변형된 sigmoid function 사용

1. https://github.com/gjtrj55/ML/blob/master/XOR_sigtrans.ipynb
2. 3d 그래프로 표현      https://github.com/gjtrj55/ML/blob/master/XOR_sig3d.ipynb
3. Relu, sigmoid, 변형된 sigmoid 비교 그래프   https://github.com/gjtrj55/ML/blob/master/XOR_compare_graph.ipynb