[라이트 머신러닝] Session 17. 학습과 검증 곡선, 그리고 그리드 서치

이번 세션에서는 두 가지 곡선을 이용해 알고리즘을 디버깅하여 보다 나은 모델을 만드는 방법 하나와, 그리드 서치를 이용해 하이퍼파라미터를 튜닝하는 방법 두 가지를 살펴보도록 하겠습니다. 지난 세션과 어느정도 이어지는 주제이니, 16을 보고 오셔도 좋습니다!

A. 학습 곡선과 검증 곡선을 사용한 알고리즘 디버깅

1. 학습 곡선으로 편향과 분산 문제 분석

학습 곡선, 즉 그래프를 이용하면 모델의 훈련 정확도와 검증 정확도를 모델의 높은 분산에 문제가 있는지, 편향에 문제가 있는지를 쉽게 확인하고 고칠 수 있습니다. 데이터를 더 모으는 것은 사실 불가능한 경우가 꽤 있기 때문에, 꼭 데이터를 더 모아야하는지를 판단할 수 있게 해주죠.

왼쪽 위 그래프는 편향이 높은 모델입니다. 이 모델은 훈련과 교차검증의 정확도가 다 낮으므로, 언더피팅 되었음을 알 수 있습니다. 이 경우에는 모델의 파라미터 개수를 늘리는 것이 좋습니다. 특성을 더 수집하거나 SVM, 로지스틱 회귀 분류기의 규제 강도를 줄일 수 있죠.

오른쪽 위 그래프는 분산이 높은 모델입니다. 훈련 정확도와 교차 검증 정확도 사이에 차이가 있음을 확인할 수 있죠? 이 경우는 과대적합, 오버피팅입니다. 이 경우에는 더 많은 훈련 데이터를 모으거나 규제를 강화함으로써 해결할 수 있습니다. 규제가 없는 모델에서는 특성 선택이나 추출을 사용할 수 있습니다.

이제 사이킷런의 학습 곡선 함수를 사용해볼까요?

import matplotlib.pyplot as plt

from sklearn.model_selection import learning_curve


pipe_lr = make_pipeline(StandardScaler(),
                        LogisticRegression(solver='liblinear', 
                                           penalty='l2', 
                                           random_state=1))

train_sizes, train_scores, test_scores =\
                learning_curve(estimator=pipe_lr,
                               X=X_train,
                               y=y_train,
                               train_sizes=np.linspace(0.1, 1.0, 10),
                               cv=10,
                               n_jobs=1)

train_mean = np.mean(train_scores, axis=1)
train_std = np.std(train_scores, axis=1)
test_mean = np.mean(test_scores, axis=1)
test_std = np.std(test_scores, axis=1)

plt.plot(train_sizes, train_mean,
         color='blue', marker='o',
         markersize=5, label='training accuracy')

plt.fill_between(train_sizes,
                 train_mean + train_std,
                 train_mean - train_std,
                 alpha=0.15, color='blue')

plt.plot(train_sizes, test_mean,
         color='green', linestyle='--',
         marker='s', markersize=5,
         label='validation accuracy')

plt.fill_between(train_sizes,
                 test_mean + test_std,
                 test_mean - test_std,
                 alpha=0.15, color='green')

plt.grid()
plt.xlabel('Number of training samples')
plt.ylabel('Accuracy')
plt.legend(loc='lower right')
plt.ylim([0.8, 1.03])
plt.tight_layout()
plt.show()

learning_curve함수의 train_sizes 매개변수를 이용하면 학습곡선 생성에 필요한 훈련 샘플의 개수와 비율을 지정할 수 있습니다. 여기서는 일정 간격으로 훈련 세트의 비율 10개를 설정해주었습니다.

learning_curve함수는 계층별 k-겹 교차 검증을 통해 교차 검증 정확도를 계산해줍니다. 여기서 k=10입니다.

이 그래프에서 볼 수 있듯 250개 이상의 샘플을 사용할 때 모델이 잘 작동하는 것을 확인할 수 있습니다. 이것보다 적으면 더 많이 오버피팅 된다는 증거이죠.

2. 검증 곡선으로 과대적합과 과소적합 조사

검증 곡선은 모델 성능을 높일 수 있는 도구입니다. 모델 파라미터 값을 함수로 그려주죠. 로지스틱 회귀의 경우에는 규제를 나타내는 매개변수 C가 됩니다. 사이킷런으로 그리는 방법을 알아볼까요?

param_range = [0.001, 0.01, 0.1, 1.0, 10.0, 100.0]
train_scores, test_scores = validation_curve(
                estimator=pipe_lr, 
                X=X_train, 
                y=y_train, 
                param_name='logisticregression__C', 
                param_range=param_range,
                cv=10)

train_mean = np.mean(train_scores, axis=1)
train_std = np.std(train_scores, axis=1)
test_mean = np.mean(test_scores, axis=1)
test_std = np.std(test_scores, axis=1)

plt.plot(param_range, train_mean, 
         color='blue', marker='o', 
         markersize=5, label='training accuracy')

plt.fill_between(param_range, train_mean + train_std,
                 train_mean - train_std, alpha=0.15,
                 color='blue')

plt.plot(param_range, test_mean, 
         color='green', linestyle='--', 
         marker='s', markersize=5, 
         label='validation accuracy')
plt.fill_between(param_range, 
                 test_mean + test_std,
                 test_mean - test_std, 
                 alpha=0.15, color='green')

plt.grid()
plt.xscale('log')
plt.legend(loc='lower right')
plt.xlabel('Parameter C')
plt.ylabel('Accuracy')
plt.ylim([0.8, 1.00])
plt.tight_layout()
plt.show()

learning_curve 함수와 비슷하게 validation_curve 함수는 기본 세팅이 계층별 k-겹 교차 검증을 통해 모델의 성능을 추정하도록 되어있습니다. 이 함수에서 평가하길 원하는 변수를 지정을 해줍니다. 이 경우에는 로지스틱 회귀의 C이죠.

param_range에서는 이름처럼 값 범위를 지정해줍니다. 학습곡선에서는 이전 처럼 훈련 정확도와 교차 검증 정확도, 표준 편차를 나타내주었습니다.

C에 따라 정확도 차이가 미묘하지만 규제 강도를 높여 C를 줄이면 조금 과소적합되고, 규제 강도를 낮춰 C를 늘리면 조금 과대적합됨을 확인할 수 있습니다.

B. 그리드 서치를 사용한 머신 러닝 모델 세부 튜닝

1. 그리드 서치를 사용한 하이퍼 파라미터 튜닝

그리드 서치는 인기있는 하이퍼 파라미터 최적화 방법입니다. 그리드 서치가 사용하는 방법은 여러가지 하이퍼 파라미터 값을 전부 조사하고, 이 값의 모든 조합에 따라 성능을 평가해서 최적의 조합을 찾습니다. 코드로 보실까요?

from sklearn.model_selection import GridSearchCV
from sklearn.svm import SVC

pipe_svc = make_pipeline(StandardScaler(),
                         SVC(random_state=1))

param_range = [0.0001, 0.001, 0.01, 0.1, 1.0, 10.0, 100.0, 1000.0]

param_grid = [{'svc__C': param_range, 
               'svc__kernel': ['linear']},
              {'svc__C': param_range, 
               'svc__gamma': param_range, 
               'svc__kernel': ['rbf']}]

gs = GridSearchCV(estimator=pipe_svc, 
                  param_grid=param_grid, 
                  scoring='accuracy', 
                  cv=10,
                  n_jobs=-1)
gs = gs.fit(X_train, y_train)
print(gs.best_score_)
print(gs.best_params_)

이 코드에서는 GridSearchCV 클래스의 객체를 만들고 SVM을 위해 파이프라인을 훈련하고 튜닝해줍니다. 그리고 param_grid에 튜닝하려는 매개변수를 지정해줍니다. RBF 커널 SVM에서는 svc__C와 svc__gamma 매개변수를 튜닝해줍니다.

그리드 서치를 수행한 후 최고점수는 best_score_ 속성에서 얻을 수 있으며, 이 모델의 매개변수는 best_params_ 속성에서 확인 가능합니다.

마지막으로 테스트 세트를 사용해 성능을 추정해줍니다. 이 모델은 best_estimator_에서 얻을 수 있습니다.

clf = gs.best_estimator_
clf.fit(X_train, y_train)
print('테스트 정확도: %.3f' % clf.score(X_test, y_test))

2. 중첩 교차 검증을 사용한 알고리즘 선택

그리드 서치와 k-겹 교차 검증을 함께 사용하면 머신러닝 모델의 성능을 세부적으로 조정하기 쉽습니다. 그러나 같은 것이 아닌 여러 종류의 알고리즘을 비교하려면 중첩 교차 검증(nested cross-validation)을 추천합니다.

중첩 교차 검증은 k-겹 교차 검증 루프의 바깥쪽 부분이 훈련과 데이터 폴드로 데이터를 나누고, 안쪽 루프에서 k-겹 교차 검증을 수행해 모델을 선택합니다. 모델을 선택하면 테스트 폴드로 평가해줍니다. 일단 그림을 볼까요?

이 그림의 경우에는 바깥 루프에는 다섯 개 폴드를, 안쪽 루프에는 두 개 폴드를 사용하는 개념을 보여줍니다. 이 방식은 대용량 데이터셋에서 유용하며, 이 경우에는 5x2 교차 검증이라고도 합니다.

사이킷런에서는 아래와 같습니다.

gs = GridSearchCV(estimator=pipe_svc,
                  param_grid=param_grid,
                  scoring='accuracy',
                  cv=2)

scores = cross_val_score(gs, X_train, y_train, 
                         scoring='accuracy', cv=5)
print('CV 정확도: %.3f +/- %.3f' % (np.mean(scores),
                                      np.std(scores)))

반환된 평균 교차 검증 점수는 모델을 튜닝했을 때 새로운 데이터에서 기대할 수 있는 정확도라고 할 수 있습니다.

중첩 교차 검증의 예로, 알고리즘의 비교를 위해 사용하면 SVM과 단일 결정 트리 분류기를 비교할 수 있습니다.

from sklearn.tree import DecisionTreeClassifier
gs = GridSearchCV(estimator=DecisionTreeClassifier(random_state=0),
                  param_grid=[{'max_depth': [1, 2, 3, 4, 5, 6, 7, None]}],
                  scoring='accuracy',
                  cv=2)

scores = cross_val_score(gs, X_train, y_train, 
                         scoring='accuracy', cv=5)
print('CV 정확도: %.3f +/- %.3f' % (np.mean(scores), 
                                      np.std(scores)))

결과에서 확인 가능 하듯이 SVM 모델의 검증 성능은 결정트리의 성능보다 더 뛰어납니다. 이렇듯 중첩 교차 검증을 통해 더 나은 알고리즘을 선택할 수 있습니다!

 

---

자, 여기까지 모델을 더 좋게 만들기 위해서 어떤 부분을 바꾸고 추가해야하는지, 또 어떤 알고리즘이 더 적합한지를 쉽게 확인할 수 있도록 도와주는 도구들을 살펴보았습니다. 세션 16부터 18까지는 쭉 모델을 평가하거나 하이퍼파라미터를 튜닝하는 방법을 설명해주고 있으나 서로 다른 방법을 소개하고 있으니 연달아 읽을 필요는 없습니다! 하지만 같이 알아두면 좋겠죠? 

다음 세션에서는 성능 평가의 다양한 지표들과, 클래스에 있는 샘플이 불균형한 경우에 어떻게 데이터를 다루어야하는지에 대해서 이야기하도록 하겠습니다. 수고하셨습니다!