[라이트 머신러닝] Session 16. 파이프라인으로 묶고, 교차 검증으로 모델을 평가하자!

 이전 세션들에서 테스트 세트처럼 새로운 데이터의 스케일을 조정하고 압축하기 위해 훈련 세트에서 사용한 파라미터를 재사용해야한다고 이야기했었는데요, 조금 더 쉬운 머신러닝을 위해 이번 세션에서 사이킷런의 Pipeline 클래스를 배워보도록 하겠습니다. 그리고 모델을 검증하기 위해 널리 쓰이고 있는 k-겹 교차검증 방법에 대해서도 알아보겠습니다.

A. 파이프라인을 사용한 효율적인 워크플로 만들기

1. 위스콘신 유방암 데이터셋

위스콘신 데이터셋은 악성과 양성인 종양 샘플 569개가 포함되어 있습니다. 앞에서 두 열은 샘플의 ID와 진단결과가 들어있고, 3~32번째까지의 열에는 세포 핵의 이미지에서 계산된 30개 실수 값 특성이 들어있습니다. 일단 데이터를 받아오도록 할까요? 이 데이터셋에 대한 내용은 링크에서 확인하실 수 있습니다.(https://archive.ics.uci.edu/ml/datasets/Breast+Cancer+Wisconsin+%28Diagnostic%29)

먼저, pandas 라이브러리를 통해 데이터셋을 읽어옵니다.

import pandas as pd

df = pd.read_csv('https://archive.ics.uci.edu/ml/'
                 'machine-learning-databases'
                 '/breast-cancer-wisconsin/wdbc.data', header=None)
df.head()

그리고 30개 특성을 넘파이 배열 X에 할당해준 다음 LabelEncoder로 객체의 진단 결과(클래스 레이블입니다)를 문자열에서 정수로 바꾸어줍니다. 원래는 악성을 뜻하는 M과 양성을 뜻하는 B를 정수형으로 바꿔주는 작업입니다.

from sklearn.preprocessing import LabelEncoder

X = df.loc[:, 2:].values
y = df.loc[:, 1].values
le = LabelEncoder()
y = le.fit_transform(y)
le.classes_

클래스 레이블을 배열 y에 인코딩을 해주면 악성 종양은 1로, 양성 종양은 0으로 표현됩니다. LabelEncoder 객체의 transfrom 메서드를 통해서 매핑이 잘 되었는지 확인할 수 있습니다.

le.transform(['M', 'B'])
#array([1, 0])

그리고 나서, 파이프라인을 구성하기 전에 데이터셋을 훈련과 테스트 세트로 나누어줍니다.

from sklearn.model_selection import train_test_split

X_train, X_test, y_train, y_test = \
    train_test_split(X, y, 
                     test_size=0.20,
                     stratify=y,
                     random_state=1)

2. 파이프라인으로 변환기와 추정기 연결하기

이전의 세션들에서 언급했다시피 알고리즘에게서 최적의 성능을 내기 위해서는 입력 특성이 같은 스케일을 가져야합니다. 따라서 우리가 지금 쓰고있는 위스콘신 유방암 데이터셋도 특성을 표준화해줘야겠죠? 앞 세션에서 사용한 PCA를 통해서 30차원 데이터를 2차원으로 압축한다고 가정해보도록 하겠습니다.

훈련 세트와 테스트 세트를 각각 학습 및 변환하는 대신 StandardScaler, PCA, LogisticRegression 객체를 하나의 파이프라인으로 묶을 수 있습니다.

from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA
from sklearn.linear_model import LogisticRegression
from sklearn.pipeline import make_pipeline

pipe_lr = make_pipeline(StandardScaler(),
                        PCA(n_components=2),
                        LogisticRegression(solver='liblinear', random_state=1))

pipe_lr.fit(X_train, y_train)
y_pred = pipe_lr.predict(X_test)
print('테스트 정확도: %.3f' % pipe_lr.score(X_test, y_test))
#테스트 정확도: 0.956

위 코드에서 사용된 클래스와 함수들, 알고리즘을 살펴보도록 할까요?

먼저 make_pipeline 함수는 여러개의 사이킷런 변환기와 그 뒤의 사이킷런 추정기를 연결시켜줍니다. 여기서 사이킷런 변환기는 입력에 대해 fit 메서드와 transform 메서드를 지원하는 객체이고, 사이킷런 추정기는 fit 메서드와 predict 메서드를 구현한 객체입니다. 위 코드에서는 StandardScaler, PCA 두 개의 변환기와 LogisticRegression 추정기를 make_pipeline의 입력으로 넣어주었습니다. 이 함수는 이제 사이킷런의 Pipeline 클래스 객체를 생성해서 반환해줍니다.

이 Pipeline 클래스를 메타 추정기(meta-estimator)나 변환기와 추정기를 감싼 일종의 랩이라고 생각할 수 있습니다. Pipeline 객체의 fit 메서드를 호출하면 데이터가 그 안에 있는 모든 변환기의 fit과 transform 메서드를 거쳐서 추정기에 도착합니다. 여기에서 학습을 하죠.

위 코드의 pipe_lr의 fit 메서드를 호출할 때 StandardScaler의 fit과 transform메서드를 호출합니다. 이렇게 변환된 훈련 세트가 다음 PCA객체로 전달됩니다. 윗 단계와 비슷하게 조정된 입력 데이터에 PCA의 fit과 transform 메서드를 호출합니다. 그러면 추정기에 데이터가 전달되죠.

이제 LogisticRegression이 이 데이터로 학습을 합니다. 이렇게 파이프라인의 중간 단계는 개수에 상관은 없지만 마지막 요소는 반드시 추정기여야합니다.

파이프라인에서는 predict 메서드도 제공합니다. 이 메서드를 호출할 때의 데이터는 중간 단계에 있었던 transform 메서드를 통과하고, 변환된 데이터에 대한 예측은 추정기가 보여줍니다. 아래 그림이 이해에 도움이 되실 것 같습니다.

B. k-겹 교차 검증을 이용한 모델 성능 평가

과소적합과 과대적합을 피하기 위해서 우리는 보편적인 교차 검증 기법인 홀드아웃 교차 검증(holdout cross-validation)과 k-겹 교차 검증(k-fold cross-validation)을 알아보도록 하겠습니다.

1. 홀드아웃 방법

홀드아웃 교차 검증은 초기 데이터를 테스트와 훈련 데이터로 나누어줍니다. 훈련 데이터는 모델 훈련에, 테스트 데이터는 일반화 성능을 추정하기 위해 사용합니다. 보통 처음 보는 데이터인 테스트 데이터에서의 예측 성능을 옾이기 위해서 하이퍼 파라미터를 튜닝합니다. 이 과정을 모델 선택이라고 합니다.

모델 선택은 주어진 분류 문제에서 튜닝할 파라미터의 최적 값을 선택해야하는 것입니다. 하지만 테스트 데이터를 계속 모델 선택을 위해 사용하면 테스트 데이터는 훈련 데이터와 다를 바 없어지겠죠. 이건 좋은 방법이 아닙니다.

모델 선택에 홀드아웃 방법을 적용하기 위해서는 데이터를 훈련 세트, 검증 세트(모델 선택), 테스트 세트에서 성능을 확인할 수 있게 3개로 나누어줍니다. 이렇게 되면 테스트 세트가 완전히 새로운 데이터로 분리되기 때문에 추정할 때 덜 편향된 결과를 얻을 수 있습니다. 아래 그림에서 홀드아웃 교차 검증 방법을 요약해주고 있습니다!

검증 세트로 파라미터 값을 바꿔가면서 모델을 훈련하고 평가해줍니다. 파라미터 값이 괜찮다고 생각된다면 이제 테스트 세트에서 모델의 일반화 성능을 추정해주면 됩니다.

홀드아웃 방법은 데이터를 나누는 방법에 따라 성능을 평가하는데 예민할 수 있다는 단점이 있습니다. 검증 세트에 어떤 샘플이 들어가느냐가 영향을 줄 수 있는 것이죠.

2. k-겹 교차 검증

k-겹 교차 검증에서는 중복없이 훈련 데이터를 k겹으로 랜덤하게 나누어줍니다. k-1겹으로 모델을 훈련하고, 나머지 하나로 성능을 평가하죠. 이 과정을 k번 반복해 k개 모델을 얻을 수 있고, 마찬가지로 모델의 성능도 얻을 수 있습니다.

그런 다음 각각의 폴드에서 얻은 성능을 기반으로 평균 성능을 계산합니다. 이 경우에는 홀드아웃 방법보다 데이터 분할에 덜 예민한 성능 평가가 가능합니다.

그 다음에 훈련 세트로 다시 훈련시키고, 테스트세트로 성능 평가를 합니다.

k-겹 교차 검정은 중복을 허락하지 않기 때문에 모든 샘플이 검증에 딱 한 번 사용되고, 모델 성능 평가의 분산이 낮다는 장점이 있습니다. 아래 그림에서 E는 평균 성능이고, En은 각 펼드의 추정된 성능입니다.

책의 저자가 추천하는 좋은 k 기본값은 10입니다. 비교적 작은 훈련 세트가 있다면 폴드 개수를 늘리는 것이 좋습니다.

k값이 크면 더 많은 훈련 데이터가 반복마다 사용되고 성능을 추정할 때 편향되는 정도가 작습니다. 반면 k값이 아주 크면 실행 시간이 길어지고 분산이 높은 결과를 냅니다.

따라서 큰 데이터에서는 시간을 생각해서 조금 작은 k값을 선택해도 괜찮습니다.

기본 k-겹 교차 검증보다 더 나은 방법으로 계층적 k-겹 교차검증(stratified k-fold cross validation)이 있습니다. 각 겹의 클래스 비율이 전체 훈련 세트와 동일한 비율을 갖도록 해줍니다. 코드로 볼까요?

import numpy as np
from sklearn.model_selection import StratifiedKFold


kfold = StratifiedKFold(n_splits=10,
                        random_state=1).split(X_train, y_train)

scores = []
for k, (train, test) in enumerate(kfold):
    pipe_lr.fit(X_train[train], y_train[train])
    score = pipe_lr.score(X_train[test], y_train[test])
    scores.append(score)
    print('폴드: %2d, 클래스 분포: %s, 정확도: %.3f' % (k+1,
          np.bincount(y_train[train]), score))

print('\nCV 정확도: %.3f +/- %.3f' % (np.mean(scores), np.std(scores)))

사이킷런의 StratifiedKFold 반복자를 통해 예시를 만들어주었습니다. 먼저 sklearn.model_selection 모듈의 StratifiedKFold클래스를 y_train에 전달해 초기화해주고, n_splits 매개변수를 통해 k의 값을 지정해줍니다.

pipe_lr 파이프 라인을 사용해 스케일을 조정 시켜주고, 모델의 정확도 점수를 계산합니다. 이것보다 더 간단하게, 사이킷런이 제공하는 함수를 통해서도 구현할 수 있습니다.

from sklearn.model_selection import cross_val_score

scores = cross_val_score(estimator=pipe_lr,
                         X=X_train,
                         y=y_train,
                         cv=10,
                         n_jobs=1)
print('CV 정확도 점수: %s' % scores)
print('CV 정확도: %.3f +/- %.3f' % (np.mean(scores), np.std(scores)))

cross_val_score 함수는 각 폴드, 즉 겹에 대한 평가를 컴퓨터에 있는 여러 개의 CPU 코어로 분산할 수 있습니다. 앞선 예에서처럼 n_jobs를 1로 설정하면 1개의 CPU 코어만 성능 평가에 사용합니다. -1로 설정하면 컴퓨터의 모든 CPU 코어를 사용합니다.

 

---

  이렇게 여기까지 파이프라인의 대략적 사용법과 k-겹 교차 검증에 대해서 살펴보았습니다. 우리가 모델을 만들었을 때, 이 모델을 평가하는 방식은 당연히 매우 중요합니다. 어떻게보면 모델의 가치를 증명하는 일이라고도 할 수 있기 때문입니다. 이 중요한 모델을, 모델의 가치를 평가하는 방법에 대한 설명은 다음 세션에서도 이어집니다. 다른 방법들도 얼른 만나보도록 해요!