[라이트 머신러닝] Session 8. 최대 마진 분류와 비선형 문제 풀기

 이번 세션에서는 최대 마진과 SVM, 비선형 분류 문제를 풀어보도록 하겠습니다.

1. 서포트 벡터 머신과 최대 마진 분류

 서포트 벡터 머신(support vector machine, SVM)은 퍼셉트론의 확장이라고 할 수 있습니다. 퍼셉트론이 분류 오차를 최소화했다면 SVM의 최적화 대상은 마진을 최대화하는 것입니다. 마진은 클래스를 구분하는 결정 경계와 결정 경계에 가장 가까운 훈련 샘플 사이의 거리입니다. 이 가장 가까운 훈련 샘플을 서포트 벡터(support vector)라고 합니다.

그림 1. 서포트 벡터 머신

 우리가 마진이 큰 결정 경계를 원하는 이유는 일반화할 때 오차가 낮아지는 경향이 있기 때문입니다. 마진이 작으면 작을 수록 결정 경계와 샘플의 거리가 가까워져 오버피팅될 가능성이 높습니다. 마진 최대화의 이해를 위해 음성 샘플 쪽의 결정 경계와 양성 샘플 쪽의 결정 경계를 자세하게 살펴보도록 하겠습니다.

그림 2. 양성과 음성 쪽의 결정 경계, 뺄셈 결과

 그림 2의 첫째 줄이 양성 샘플 경계, 둘째 줄이 음성 샘플 경계입니다. 첫 번째 식에서 두 번째 식을 빼면 셋째 줄과 같은 결과를 얻을 수 있습니다. 이 식은 벡터 w의 길이로 정규화 할 수 있습니다.

그림 3. 벡터 w의 길이와 결과식

 첫째 줄이 w의 길이로 정규화된 식이고 그 아래의 식이 결과식입니다. 결과식의 좌변은 양성 쪽 결정 경계와 음성 쪽 결정 경계의 거리로, 최대화하려는 마진(margin)입니다.

 SVM의 목적 함수는 샘플이 정확하게 분류된다는 조건 하에 우변을 최대화함으로써 마진을 최대화하는 것입니다. 이 조건은 아래 그림 4와 같이 쓸 수 있습니다.

그림 4. SVM 제약조건

 그림 4에 표기된 N은 데이터에 있는 샘플의 개수입니다. 이 두 식은 모든 음성 샘플은 음성 쪽 결정 경계 너머에, 양성 샘플을 양성 쪽 결정 경계 너머에 있어야한다는 것을 이야기합니다. 이는 그림 5의 수식과 같이 간단하게 쓸 수 있습니다.

그림 5

 실제로는 동일한 효과를 내면서 콰드라틱 프로그래밍(quadratic programming) 방법으로 풀 수 있는 벡터 w의 길이의 제곱에 1/2를 곱한 값을 최소화하는 것이 더 쉽다고 합니다. 하지만 우리는 콰드라틱 프로그래밍을 앞으로도 다루지 않을 것이므로, 자세히 알고 싶으신 분들은 <핸즈온 프로그래밍>이라는 책을 참조해주시길 바랍니다. 서포트 벡터 머신에 대한 더 자세한 내용은 <The Nature of Statistical Learning Theory, Springer Science+Business Media, Vladimir Vapnik, 2000> 혹은 <A Tutorial on Support Vector Machines for Pattern Recognition(Data Mining and Knowledge Discovery, 2(2) : 121-167, 1998>을 참고하시면 됩니다. 

 

2. 슬랙 변수를 사용한 비선형 문제 다루기

 이번에는 1995년 블라디미르 바프닉이 소개한 슬랙 변수만 간단하게 이야기 하도록 하겠습니다. 이 슬랙 변수를 소프트 마진 분류(soft margin classfication)이라고 합니다. 1에서 소개한 슬랙 변수가 없는 경우는 하드 마진 분류라고도 부르죠. 슬랙 변수가 참 예쁘게 생겼는데, 자판에서 찾을 수 없어서 아쉬울 따름입니다. 슬랙 변수는 선형적으로 구분되지 않는 데이터에서 선형 제약 조건을 완화하기 위해서 도입되었습니다. 어느정도 비용을 손해보면서 분류 오차가 있는 상황에서 최적화 알고리즘이 수렴하도록 하는 것이죠. 양수 값인 슬랙 변수를 선형 제약 조건에 더해주면 됩니다.

그림 6. 선형 제약 조건에 슬랙 변수 적용

 여기서 N은 데이터셋에 있는 샘플 개수입니다. 제약 조건 아래에서 최소화할 새로운 목적함수는 그림 7과 같습니다.

그림 7. 목적함수 with 슬랙 변수

그림 7의 변수 C를 통해 분류 오차에 대한 비용을 조정할 수 있습니다. C값이 크면 오차에 더 엄격해져 오차에 대한 비용이 커지고, 작으면 분류 오차에 덜 엄격해져 비용이 작아집니다. 매개변수 C를 사용하여 마진 폭을 제어할 수 있습니다 그림 8로 시각적으로 확인해볼까요?

그림 8. C값에 따른 결정 경계와 마진

 여러분도 눈치채셨겠지만 이 개념은 규제와 깊은 관련이 있습니다. Session 7에서 언급한 것처럼 규제가 있는 로지스틱 회귀 모델은 C값을 줄이면 편향이 늘고, 모델 분산은 줄어듭니다.

 아래 코드는 붓꽃 데이터셋의 꽃 분류 문제에 SVM 모델을 훈련하는 내용입니다. 코드를 실행하면 그림 9의 결정경계를 확인할 수 있습니다.

from sklearn.svm import SVC

svm = SVC(kernel='linear', C=1.0, random_state=1)
svm.fit(X_train_std, y_train)

plot_decision_regions(X_combined_std, 
                      y_combined,
                      classifier=svm, 
                      test_idx=range(105, 150))
plt.scatter(svm.dual_coef_[0, :], svm.dual_coef_[1, :])
plt.xlabel('petal length [standardized]')
plt.ylabel('petal width [standardized]')
plt.legend(loc='upper left')
plt.tight_layout()
plt.show()

그림 9. SVM 분류기가 학습한 붓꽃 데이터셋 결정 경계

 이번에는 사이킷런입니다. 이전 세션에서 보셨던 사이킷런의 Logistic Regression 클래스를 LIBLINEAR 라이브러리를 사용합니다. 이는 C/C++ 라이브러리로, 링크에서 확인하실 수 있습니다. SVM을 훈련하는 SVC 클래스는 LISVM 라이브러리를 사용합니다. 이 라이브러리는 SVM에 특화된 C/C++ 라이브러리입니다. 요기에서 확인 가능합니다.

 순수하게 파이썬으로만 구현하는 것에 미해 LIBLINEAR와 LIBSVM은 많은 선형 분류기를 빠르게 훈련할 수 있다는 장점이 있습니다. 종종 데이터가 너무 커서 컴퓨터 메모리 용량에 맞지 않는 경우, 사이킷런은 대안으로 SDGClassifier 클래스를 제공합니다. 이 클래스는 partial_fit으로 온라인 학습을 지원합니다. 온라인 학습에 대해서는 기억하시죠? SDGClassifier은 확률적 경사 하강법과 비슷한 개념입니다. 

 퍼셉트론, 로지스틱 회귀, 서포트 벡터 머신의 확률적 경사 하강법은 아래 코드와 같습니다.

from sklearn.linear_model import SGDClassifier

ppn = SGDClassifier(loss='perceptron') #perceptron
lr = SGDClassifier(loss='log') #logistic regression
svm = SGDClassifier(loss='hinge') #svm

 

3. 비선형 분류 데이터를 위한 커널

 머신러닝을 하는 사람들 사이에서 SVM이 인기가 많은 이유는 비선형 분류 문제를 풀기 위해 커널 방법을 사용할 수 있기 때문입니다. 커널 SVM(kernel SVM)의 주요 개념 설명 전에, 선형으로 분류되지 않는 데이터를 확인하기 위해 샘플 데이터셋을 만들어보도록 하겠습니다.

 아래 코드에서 numpy 라이브러리의 logical_or 함수를 사용해 XOR 형태의 간단한 데이터셋을 만듭니다. 대략 100개 샘플을 클래스 레이블 1로 할당하고 나머지 100개 샘플은 클래스 레이블 -1로 할당합니다.

import matplotlib.pyplot as plt
import numpy as np

np.random.seed(1)
X_xor = np.random.randn(200, 2)
y_xor = np.logical_xor(X_xor[:, 0] > 0,
                       X_xor[:, 1] > 0)
y_xor = np.where(y_xor, 1, -1)

plt.scatter(X_xor[y_xor == 1, 0],
            X_xor[y_xor == 1, 1],
            c='b', marker='x',
            label='1')
plt.scatter(X_xor[y_xor == -1, 0],
            X_xor[y_xor == -1, 1],
            c='r',
            marker='s',
            label='-1')

plt.xlim([-3, 3])
plt.ylim([-3, 3])
plt.legend(loc='best')
plt.tight_layout()
plt.show()

그림 10. 간단한 XOR 데이터셋

 그림 10에서 확인할 수 있다시피 양성과 음성 클래스를 선형 결정 경계로는 구분할 수 없을 것 같죠? 이렇게 선형적으로 구분되지 않는 데이터를 다룰 때 커널 방법(kernel method)를 사용합니다. 커널 방법은 매핑함수 를 사용해 원본 특성들의 선형 조합을 선형적으로 구분할 수 있는 고차원 공간에 나타내는 것입니다.

그림 11. 투영을 통한 3차원 특성공간으로의 변환

그림 12. 고차원 공간에서 두 클래스를 구분하는 결정경계

 그림 12와 같이 고차원 공간에서 결정경계를 그리고 원본 특성 공간으로 되돌리면 비선형 형태의 결정 경계를 확인할 수 있습니다. 

 그럼 이제 고차원 공간에서 분할 결정 경계를 찾아볼까요? 먼저, SVM으로 비선형 문제를 풀기 위해서 매핑함수 ∮를 사용해서 훈련 데이터를 고차원으로 변환합니다. 그리고 이 고차원 특성 공간에서 데이터를 분류하는 선형 SVM 모델을 훈련합니다. 이후에 같은 매핑 함수와 선형 모델로 분류할 수 있습니다.

 이 방법의 문제점은 새로운 특성을 만드는 계산에서 비용이 너무 비싸다는 점입니다. 그래서 여기에 소위 커널 기법이 등장하게 됩니다. SVM 훈련을 위한 콰드라틱 프로그래밍을 앞에서 말했다시피 다루지는 않겠지만 실전에서 필요한 것은 그림 13과 같습니다. 그림 13의 점곱을 계산하는데 드는 비용 절감을 위해 그림 13 둘째 줄의 커널 함수가 필요합니다.

그림 13. 점곱과 커널 함수

 가장 널리 사용되는 커널 중 하나는 방사 기저 함수(Radial Basis Function, RBF)입니다. 다른 말로 가우시안 커널(Gaussian kernel)이라고도 합니다. 첫째 줄로 쓸 수 있고, 조금 더 간단하게 두 번째 줄로도 쓸 수 있습니다. 여기서 감마는 최적화 대상 파라미터는 아닙니다.

그림 14. 방사 기저 함수

 대략 말하면 커널이란 용어는 샘플 간의 유사도 함수로 해석할 수 있습니다. 식에 쓰인 음수 부호가 거리 측정을 유사도 점수로 바꾸는 역할을 합니다. 유사도 점수는 0과 1사이의 값을 가집니다. 

 이제 커널 SVM을 훈련해 XOR 데이터를 구분해보도록 하겠습니다. 앞선 사이킷런의 SVC클래스를 사용하고, kernel='linear'을 kernel='rbf'로 바꿔주면 됩니다.

svm = SVC(kernel='rbf', random_state=1, gamma=0.10, C=10.0)
svm.fit(X_xor, y_xor)
plot_decision_regions(X_xor, y_xor,
                      classifier=svm)

plt.legend(loc='upper left')
plt.tight_layout()
plt.show()

그림 15. 커널 SVM 모델이 학습한 결정경계

gamma = 0.1로 지정한 매개변수 감마값을 크게 하면 서포트 벡터의 영향, 범위가 줄어들고 결정경계가 더 샘플에 가까워지고 구불구불해집니다. 이는 가우시안 구의 크기를 제한하는 매개변수라고 할 수 있습니다. 자세한 이해를 위해 아래 코드를 볼까요?

svm = SVC(kernel='rbf', random_state=1, gamma=0.2, C=1.0)
svm.fit(X_train_std, y_train)

plot_decision_regions(X_combined_std, y_combined,
                      classifier=svm, test_idx=range(105, 150))
plt.scatter(svm.dual_coef_[0,:], svm.dual_coef_[1,:])
plt.xlabel('petal length [standardized]')
plt.ylabel('petal width [standardized]')
plt.legend(loc='upper left')
plt.tight_layout()
plt.show()

그림 16. 감마 값을 작게 했을 때

 감마 값을 작게 했기 때문에 결정경계가 부드럽고 평평합니다. 반면에 감마 값을 크게한 결과도 볼까요?

svm = SVC(kernel='rbf', random_state=1, gamma=100.0, C=1.0)
svm.fit(X_train_std, y_train)

plot_decision_regions(X_combined_std, y_combined, 
                      classifier=svm, test_idx=range(105, 150))
plt.xlabel('petal length [standardized]')
plt.ylabel('petal width [standardized]')
plt.legend(loc='upper left')
plt.tight_layout()
plt.show()

그림 17. 감마 값을 크게 했을 때

 그림 17과 같은 그래프를 확인할 수 있는데, 정말 결정 경계가 부드럽지 못하고 훈련데이터에 지나치게 맞춰진 오버피팅이 일어났다는 것을 확인할 수 있습니다. 따라서 본 적 없는 테스트 데이터에서는 일반화 오차가 높을 것입니다. 여기에서 감마 매개변수가 과대적합을 조절하는 중요한 역할을 한다는 것을 알 수 있습니다.

 

---

 이번 세션에서는 마진과 비선형 문제를 풀어보았습니다. 최대 마진을 왜 원하는지, 선형적으로 분류할 수 없는 데이터는 어떻게 처리하여 분류하는지 떠오르시나요? 규제에 관련된 감마 함수와 슬랙변수도 기억나시죠? SVM과 마진, 규제의 감마 매개변수가 기억나신다면 거의 다 하셨습니다. 다음 세션에서는 결정 트리 학습에 대해서 다루게 됩니다. 다음 세션에서 봐요!