[라이트 머신러닝] Session 11. 데이터셋 나누기와 특성 스케일과 선택

 이번 세션에서는 말로만 듣던 훈련 세트와 테스트 세트로 데이터 셋을 분할하는 작업을 하는 방법에 대해서, 그리고 특성 스케일을 조정하는 방법에 대해서 알아보도록 하겠습니다. 

1. 데이터셋 나누기

 이번에는 새로운 데이터인 Wine 을 사용합니다. 붓꽃 데이터에서 벗어나신 걸 축하드려요! wine 데이터는 UCI 머신러닝 저장소 에서 다운받을 수 있습니다. 판다스를 이용해 바로 읽어드리는 코드는 아래와 같습니다.

df_wine = pd.read_csv('https://archive.ics.uci.edu/'
                      'ml/machine-learning-databases/wine/wine.data',
                      header=None)

# UCI 머신 러닝 저장소에서 Wine 데이터셋을 다운로드할 수 없을 때
# df_wine = pd.read_csv('wine.data', header=None)


df_wine.columns = ['Class label', 'Alcohol', 'Malic acid', 'Ash',
                   'Alcalinity of ash', 'Magnesium', 'Total phenols',
                   'Flavanoids', 'Nonflavanoid phenols', 'Proanthocyanins',
                   'Color intensity', 'Hue', 'OD280/OD315 of diluted wines',
                   'Proline']

print('클래스 레이블', np.unique(df_wine['Class label']))
df_wine.head()

그림 1. 와인 데이터셋

 샘플은 1, 2, 3 클래스 중 하나에 속해 있습니다. 와인 품종이죠. 

 데이터를 나눌 때는 사이킷런의 model_selection 모듈의 train_test_split 함수로 랜덤하게 나눌 수 있습니다.

from sklearn.model_selection import train_test_split

X, y = df_wine.iloc[:, 1:].values, df_wine.iloc[:, 0].values

X_train, X_test, y_train, y_test =\
    train_test_split(X, y, 
                     test_size=0.3, 
                     random_state=0, 
                     stratify=y)

 

 인덱스 1부터 13까지를 변수 X에 할당하고, 첫 번째 열의 클래스 레이블은 변수 y에 할당해줍니다. 그리고 train_test_split 함수를 사용해 분할합니다. test_size가 0.3이므로 전체 데이터의 30%가 테스트 데이터로 할당되고 그 나머지가 훈련 세트로 나뉘어집니다. stratify에 y를 전달하면 훈련과 테스트 세트의 클래스 비율이 원본과 동일하게 유지됩니다.

 

2. 특성 스케일 맞추기

 결정 트리와 랜덤 포레스트는 특성 스케일 조정에 대해서 걱정할 필요가 없지만, 경사하강 알고리즘에서 보셨듯 대부분의 알고리즘과 머신 러닝은 특성 스케일이 같을 때 성능이 더 좋습니다. 

 특성 스케일 조정을 해야하는 이유를 간단한 예를 들어서 알아볼까요? 특성 두 개가 있을 때 하나는 1에서 10의 스케일을, 하나는 1에서 10만의 스케일이 있다면 아달린의 제곱오차함수에서 알 수 있듯이 알고리즘은 두 번째 특성의 큰 오차에 맞추어서 가중치를 최적화하게 되겠죠. 

 특성 스케일을 맞추는 대표적인 방법은 정규화(normalization)와 표준화(standardization)입니다. 정규화는 대부분 특성 스케일을 0과 1 사이에 맞춥니다. 최소-최대 스케일 변환(min-max scaling)의 특변한 경우이죠. 

그림 2. 최소-최대 스케일 변환

 심플 x(i)에서 새로운 값인 x norm을 계산합니다. 사이킷런에 구현된 스케일 변환 기능은 아래 코드와 같습니다.

from sklearn.preprocessing import MinMaxScaler

mms = MinMaxScaler()
X_train_norm = mms.fit_transform(X_train)
X_test_norm = mms.transform(X_test)

 

 정규화는 범위가 정해진 값이 필요할 때 쓰입니다. 표준화를 사용하면 특성 평균을 0으로 맞추고 표준 편차를 1로 만들어서 정규분포와 같은 특징을 가지게 합니다. 가중치를 더 쉽게 학습할 수 있게 하기 위해서입니다. 또, 표준화는 비정상적인 수치 정보가 유지되기 때문에 최소-최대 스케일 변환에 비해 알고리즘이 이상한 정보에 덜 민감합니다. 최소-최대 스케일 변환은 아주 작은 값이나 큰 값이 있을 때 다른 샘플들을 촘촘하게 모아버리기 때문이죠.

그림 3. 표준화 공식

여기서 뮤는 특성 샘플의 평균이고 시그마는 표준 편차입니다. 그림 4의 표는 표준화와 최소-최대 정규화의 차이를 보여줍니다.

그림 4. 표준화와 최소-최대 정규화 비교

 코드는 다음과 같습니다.

#최대최소

ex = np.array([0, 1, 2, 3, 4, 5])

print('표준화:', (ex - ex.mean()) / ex.std())
print('정규화:', (ex - ex.min()) / (ex.max() - ex.min()))

#표준화

from sklearn.preprocessing import StandardScaler

stdsc = StandardScaler()
X_train_std = stdsc.fit_transform(X_train)
X_test_std = stdsc.transform(X_test)

 

3. 모델 복잡도 제한을 위한 L1과 L2 규제

 이번에는 과대적합을 피하기 위해, 일반화 오차를 감소시키기 위해 특성 선택을 통한 차원 축소로 간단한 모델을 만드는 방법에 대해서 알아보도록 하겠습니다.

 앞선 세션에 있었던 L2 규제(L2 regularization)은 개별 가중치 값을 제한해 모델 복잡도를 줄이는 방법이라는 것에 대해서 기억나시나요? 가중치 벡터 w의 L2 규제는 그림 5와 같습니다.

그림 5. L2 규제

 모델 복잡도를 줄이는 다른 방법은 L1 규제(L1 regularization)입니다. L1 규제는 L2 규제의 가중치 제곱을 절대값으로 바꾼 것입니다. L2와는 다르게 L1은 희소한 특성 백터를 만들어 대부분의 특성 가중치가 0이 됩니다. 

그림 6. L1 규제

 먼저, L2 규제의 기하학적인 해석부터 알아볼까요? L2규제는 비용 함수에 패널티를 부여해 가중치 값을 비용함수의 모델에 비해 작게 만드는 효과를 냅니다. 두 개의 가중치 w1과 w2에 대한 볼록한 비용함수 등고선이 그림 6과 같습니다. 아달린의 제곱 오차합 비용함수가 구 모양이라 그리기 쉬울 겁니다.

그림 6. 가중치 평면의 볼록 비용함수 등고선

 우리의 목표는 비용함수가 최소가 되는 가중치 값을 찾는 것입니다. 타원의 중심 포인트가 되겠죠. 규제는 더 작은 가중치를 얻기 위한 패널티라고 할 수 있습니다. 큰 가중치를 제한하는 것이죠. 규제 파라미터인 람다로 규제의 강도를 크게 하면 가중치는 0에 가까워지고 훈련 데이터에 모델이 의존하는 정도가 낮아져 오버피팅을 피할 수 있습니다.

그림 7. L2 규제와 비용함수

 L2 규제 항은 회색 원으로 표현되어 있습니다. 가중치 값은 회색 공, 즉 규제 바깥에 있을 수 없으므로 비용함수가 최소화 되는 규제 항의 경계에 놓이게 되는 것이죠. 이것은 모델을 학습할만한 충분한 데이터가 없을 때 모델을 간단하게 만들어 분산을 줄일 수 있습니다.

 두 번째는 L1 규제입니다. L1 패널티는 가중치 절댓값의 합이기 때문에 다이아몬드의 제한 범위를 그릴 수 있습니다. L1 항은 이차식입니다. 그림 8을 볼까요?

그림 8. L1 규제와 비용 함수

 w1이 0일 때 비용함수의 등고선이 다이아몬드와 만나는 것을 확인할 수 있습니다. L2와 달리 L1은 다이아몬드 형이라 최적점은 축에 가까울 확률이 높고, 이게 희소성이 나타나는 이유입니다. 사이킷런에서 L1 규제를 지원하는 모델은 penalty 매개변수를 l1으로 지정해 희소한 모델을 만들 수 있습니다.

from sklearn.linear_model import LogisticRegression
LogisticRegression(solver='liblinear', penalty='l1')

 

 전처리된 Wine 데이터에 L1 규제가 있는 로지스틱 회귀는 다음과 같이 적용할 수 있습니다.

from sklearn.linear_model import LogisticRegression

lr = LogisticRegression(solver='liblinear', multi_class='auto', 
                        penalty='l1', C=1.0, random_state=42)
# C=1.0이 기본값
lr.fit(X_train_std, y_train)
print('훈련 정확도:', lr.score(X_train_std, y_train))
print('테스트 정확도:', lr.score(X_test_std, y_test))

 

 훈련과 테스트 정확도가 모두 1.0으로 100%임을 확인할 수 있죠? 모델이 완벽하게 작동한다는 것을 알 수 있습니다. lr.intercept_ 속성으로 절편을 확인해보면 값 세 개가 든 배열이 반환됩니다.

 slover = 'liblinear', multi_class = 'auto'로 초기화한 LogisticRegression 객체를 다중 클래스 데이터셋에 적용하면 OvR 방식을 사용합니다. 첫 번째는 클래스 1과 2, 3을 구분하는 모델에 속한 것이고, 두 번째는 클래스 2를 1, 3과 구분하는 모델에 속한 것이며 세 번째는 클래스 3을 1, 2와 구분하는 모델의 절편입니다.

lr.coef_ 속성의 가중치는 클래스마다 벡터 하나씩 세 개의 행이 있는 가중치 배열입니다.

그림 9. lr.coef_

 각 행은 13개 가중치를 가지고, 각 가중치와 13차원의 Wine 데이터셋의 특성을 곱해 최종 입력을 계산합니다.

그림 10. 최종입력

 이제 규제 강도를 달리해 특성 가중치 변화를 그래프로 보도록 하겠습니다.

import matplotlib.pyplot as plt

fig = plt.figure()
ax = plt.subplot(111)
    
colors = ['blue', 'green', 'red', 'cyan', 
          'magenta', 'yellow', 'black', 
          'pink', 'lightgreen', 'lightblue', 
          'gray', 'indigo', 'orange']

weights, params = [], []
for c in np.arange(-4., 6.):
    lr = LogisticRegression(solver='liblinear', multi_class='auto',
                            penalty='l1', C=10.**c, random_state=0)
    lr.fit(X_train_std, y_train)
    weights.append(lr.coef_[1])
    params.append(10**c)

weights = np.array(weights)

for column, color in zip(range(weights.shape[1]), colors):
    plt.plot(params, weights[:, column],
             label=df_wine.columns[column + 1],
             color=color)
plt.axhline(0, color='black', linestyle='--', linewidth=3)
plt.xlim([10**(-5), 10**5])
plt.ylabel('weight coefficient')
plt.xlabel('C')
plt.xscale('log')
plt.legend(loc='upper left')
ax.legend(loc='upper center', 
          bbox_to_anchor=(1.38, 1.03),
          ncol=1, fancybox=True)
plt.show()

그림 11. 규제 강도에 따른 가중치 변화

 

---

이번 세션에서는 훈련 세트와 테스트 세트로 데이터를 나누는 방법, 특성 스케일을 맞추는 방법과 L1, L2 규제에 대해 알아보았습니다. L1, L2 규제는 저도 정말 어려웠는데요, 추후에 제가 더 이해를 잘하게 되면 앞부분에 추가적으로 설명을 덧붙이도록 하겠습니다(2020.02.13). 수고하셨습니다!