regularization 기법 중 하나인 조기종료(Early stopping)를 Keras를 통해 구현해본다. keras 의 callbacks 에 Earlystopping 기능을 지원한다. 설명을 보면 Stop training when a monitored quantity has…
Keras 를 사용하여 모델저장과 복원하는 방법을 배워본다. 모델의 신속성을 위해 샘플은 처음 1,000개만 사용한다.
|
1 2 3 4 5 6 7 8 9 10 11 12 |
from __future__ import absolute_import, division, print_function, unicode_literals import os import tensorflow as tf from tensorflow import keras (train_images, train_labels),(test_images, test_labels) = tf.keras.datasets.mnist.load_data() train_labels = train_labels[:1000] test_labels = test_labels[:1000] train_images = train_images[:1000].reshape(-1,28 * 28) / 255. test_images = test_images[:1000].reshape(-1, 28 * 28) / 255. |
가중치를 저장하고 불러오는 예제를 위해 모델을 정의한다.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 |
def create_model(): model = tf.keras.models.Sequential([ keras.layers.Dense(512, activation=tf.keras.activations.relu, input_shape=(784,)), keras.layers.Dropout(0.2), keras.layers.Dense(10, activation=tf.keras.activations.softmax) ]) model.compile(optimizer=tf.keras.optimizers.Adam(), loss=tf.keras.losses.sparse_categorical_crossentropy, metrics=['accuracy']) return model model = create_model() model.summary() |
…
Early stopping Regularization 방법 중 간단하면서도 효율적인 전략으로 많이 쓰이는 방법이다. 조기 종료(early stopping) 방법은 목적 함수의 loss 값이 더 좋은 쪽으로 갱신되지 않고…
선형대수학에서 배운 PCA 를 통해 데이터를 통계적으로 독립인 데이터로 전처리하는 방법을 배워본다. 먼저 통계적으로 독립인 전처리를 수행하는 PCA를 수식으로 표현 후 실제 예제 데이터를 사용해…
Regularization이 뭘까? 심층학습에서 regularization은 ‘일반화’ 라는 의미로 자주 쓰인다. training 된 모델이 training data set 에서는 accuracy가 좋지만 validation data set에 대해서는 그만큼 accuracy 가…
처음부터 하나씩 머릿 속으로 그리고 스케치하며 작동원리를 생각했다. tensor 차원을 다루는 방법을 알았으며 몇 가지 신기한 테크닉 또한 배웠다. 오차역전파를 통한 빠른 학습이 중앙차분으로 코딩한…
우리가 풀고자 하는 실제 문제가 인 선형식일 것이라 가정한 뒤 선형식에 맞지 않는 error(오차)를 로 두었다. 문제를 선형식으로 가정해놓고 이라는 가정을 취한다. 라는 모델을…
예전에 공부했을 때 이해가 안되서 어렵다고 느꼈는데, 정의를 눈여겨 보지 않아서 그랬던 것이다. 정의에 중요함을 다시 느낌. Sample 의 Definition : 서로 독립이고 동일한…