Regularization이 뭘까? 심층학습에서 regularization은 ‘일반화’ 라는 의미로 자주 쓰인다. training 된 모델이 training data set 에서는 accuracy가 좋지만 validation data set에 대해서는 그만큼 accuracy 가…

  우리가 풀고자 하는 실제 문제가 인 선형식일 것이라 가정한 뒤 선형식에 맞지 않는 error(오차)를 로 두었다. 문제를 선형식으로 가정해놓고 이라는 가정을 취한다.  라는 모델을…

Machine Learning 에서 흔히 Cost function으로써 MSE(mean squared error) 를 사용하지 않고 Cross-entropy를 사용하는 이유에 대해 생각해볼 필요가 있다. 문제의 정의 : Cross-entropy의 어떤 성질이…

의 결과로  SVM에서 기하적인 의미에서 두 초평면 사이의 거리 즉 , margine를 구하면  라는 것을 알 수 있다. ( 궁금증 해결 )

정보이론에서 entropy가 어떻게 정의되어 있으며 개념과 머신러닝으로 어떻게 접목이 되는지 중심으로 설명. cross entropy cost function으로의 유도 과정 등