[라이트 머신러닝] Session 4. 파이썬으로 퍼셉트론 알고리즘 구현하기!

 이번 시간에는 드디어 마침내 프로그래밍이 등장합니다. 이전 섹션에서 공부한 수식들을 파이썬 클래스와 함수로 구현하고, 머신러닝의 대표적인 데이터 중 하나인 붓꽃 데이터셋을 학습시키는 것 까지 해보도록 하겠습니다.

 각자 앞 세션에서 이야기한 아나콘다나 파이썬을 설치하셔도 좋습니다. 저는 google colaboratory를 사용하려고 합니다. 설치없이 간편하니 사용하셔도 좋습니다 :) https://colab.research.google.com/

Google Colaboratory

 

1. 객체 지향 퍼셉트론 API

 코드를 보기 전에, 먼저 간단한 사전 코드 정의에 대해서 알려드리겠습니다. 아래 Perception 클래스를 초기화한 후 fit 메서드로 학습하고, predict 메서드로 예측합니다. 새로 생성하는게 아닌 다른 메서드를 호출한 속성은 언더바(_)를 추가해 구분합니다.

 eta 변수는 학습률로 float 자료형을 갖고, n_iter 은 int형으로 epoch를 나타냅니다. random_state 는 int형으로 가중치를 무작위로 초기화하기 위한 난수 생성기입니다. w_는 학습된 가중치 벡터고, errors_는 누적된 오류들을 벡터로 저장한 값입니다. 먼저 코드를 보여드리고, 그 다음에 해설을 하도록 하겠습니다. 

import numpy as np

class Perceptron(object):

"""
eta : float
n_iter : int
random_state : int
w_ : 1d-array
errors_ : list
"""

    def __init__(self, eta = 0.01, n_iter = 50, random_state = 1):
        self.eta = eta
        self.n_iter = n_iter
        self.random_state = random_state
    
    """
    X : {array-like}, shape = [n_samples, n_feaures] -> {}안에 데이터, n_samples개 샘플과 n_features개의 특성, 훈련데이터
    y : array-like, shape = [n_samples] -> {}안에 데이터, n_samples개의 정답 타깃
    """

    def fit(self, X, y):
        rgen = np.random.RandomState(self.random_state)
        self.w_ = rgen.normal(loc = 0.0, scale = 0.01, size = 1 + X.shape[1])
        self.errors_ = []
        for _ in range(self.n_iter):
            errors = 0
            for xi, target in zip(X, y):
                update = self.eta * (target - self.predict(xi))
                self.w_[1:] += update * xi
                self.w_[0] += update
                errors += int(update != 0.0)
            self.errors.append(errors)
    return self

    def net_input(self, X):
        return np.dot(X, self.w_[1:] + self.w_[0])
    
    def predict(self, X):
        return np.where(self.net_input(X) >= 0.0, 1, -1)

 먼저, fit 함수에서 self.w_ 로 표현된 가중치는 벡터 R^(m+1)로 초기화됩니다. m은 데이터 셋의 차원을 뜻합니다. 2차원데이터라면 R은 R^3이 되겠죠. size 에 1을 더한 이유는 앞선 섹션에서 이야기한 것처럼 절편을 만들기 위함입니다. 따라서 self.w_[0]은 절편이 됩니다. 

 fit 에서 쓰이고 있는 self.w_벡터는 rgen.normal(loc = 0.0, scale=0.01, size = 1+X.shape[1])로 표준편차(scale)이 0.01인 정규분포에서 뽑은 랜덤한 작은 수를 담고 있습니다. 사실 정규분포인 것도, 0.01인 것도 크게 의미는 없으니 신경쓰지 않으셔도 됩니다. 이 작은 수로 가중치를 초기화하는 것입니다. 쓰인 rgen함수는 numpy에서 제공하는 난수 생성기로, 시드를 통해 값을 제공하기 때문에 이전과 같은 결과를 계속 제공할 수 있습니다. 실행에 따라 값이 바뀌는 것은 아니라는 말이죠. 

 이때 우리는 왜 가중치를 0으로 초기화하지 않지? 라는 의문이 들 수 있습니다. 그 이유는 가중치를 0으로 초기화하면 학습률이 가중치 벡터의 방향이 아닌 크기에만 영향을 마치기 때문입니다. 초기 가중치가 0이라면 아래 그림과 같게 됩니다. 

그림 1. 초기 가중치 0 이 방향을 바꾸지 않는다는 것에 대한 증명

v1 = np.array([1,2,3])
v2 = 0.5 * v1
np.arccos(v1.dot(v2) / (np.linalg.norm(v1) * np.linalg.norm(v2))
...
0.0

 위 코드에서 증명할 수 있습니다. np.arccos 함수는 역코사인 함수이고 np.linalg.norm은 벡터의 길이를 계산합니다. 이 코드를 실행해보면 v1과 v2 사이 각이 0도가 됨을 확인할 수 있습니다. 아무튼간에 초기 가중치가 0이 아닌 편이 좋다는 것만 기억하시면 됩니다.

 fit 메서드는 가중치를 초기화한 후 X에 있는 모든 샘플에 가중치 업데이트를 하러 돌아다닙니다. 이 훈련 샘플이 어느 클래스인지는 predict 메서드에서 예측합니다. fit에서 가중치 업데이트를 위해 predict 메서드를 호출해 예측을 얻습니다. 이 과정을 반복하면서 epoch마다 self.errors_리스느에 잘못 분류된 횟루를 기록합니다. 이 과정은 나중에 훈련과정을 분석하는데 도움이 됩니다. net_input 메서드에서 사용한 np.dot 함수는 w^T와 x의 점곱을 연산합니다.

 

2. 붓꽃 데이터셋 훈련!

 앞에서 만든 구현을 테스트하기 위해서 붓꽃 데이터셋 중에서 딱 두 개의 꽃, Setosa 와 Versicolor 두 개의 클래스를 사용합니다. 물론 퍼셉트론 알고리즘은 일대다 전략 등 다중 클래스 분류로 확장도 가능합니다.

 먼저, 데이터를 로드해와야겠죠? 굳이 데이터를 컴퓨터에 받아야할 이유는 없습니다. pandas 라이브러리를 사용해서 UCI 머신러닝 저장소에서 붓꽃 데이터셋을 로드합니다. tail()함수를 이용하면 그림 2와 같이 데이터를 보여줍니다.

import pandas as pd
df = pd.read_csv('https://archive.ics.uci.edu/ml/'
        'machine-learning-databases/iris/iris.data', header=None)
df.tail()

그림 2. 데이터셋 (feat. df.tail())

만약 데이터가 로컬 디텍토리에 있다면, 아래와 같이 코드를 작성하면 됩니다.

df = pd.read.cvs('your/local/path/to/iris.data', header = None)

 그 다음 50개의 iris setosa와 50개의 iris versicolor에 해당하는 100개 레이블을 추출하고, 각 꽃을 1과 -1 클래스로 바꾼 후에 y에 저장합니다. 비슷하게 샘플의 첫번째 특성 꽃받침 길이와 세 번째 특성 꽃잎 길이를 X에 저장합니다. plt.show()는 그래프를 시각적으로 보여줍니다.

import matplotlib.pyplot as plt
import numpy as np

# setosa와 versicolor를 선택합니다
y = df.iloc[0:100, 4].values
y = np.where(y == 'Iris-setosa', -1, 1)

# 꽃받침 길이와 꽃잎 길이를 추출합니다
X = df.iloc[0:100, [0, 2]].values

# 산점도를 그립니다
plt.scatter(X[:50, 0], X[:50, 1],
            color='red', marker='o', label='setosa')
plt.scatter(X[50:100, 0], X[50:100, 1],
            color='blue', marker='x', label='versicolor')

plt.xlabel('sepal length [cm]')
plt.ylabel('petal length [cm]')
plt.legend(loc='upper left')

plt.show()

그림 3. 붓꽃 데이터셋 산점도

 위 그래프는 선형 결정 경계로 두 꽃을 분류하기에 아주 예쁜 산점도네요. 이제 추출한 데이터들에서 알고리즘을 훈련해보겠습니다. epoch에 따라 잘못 분류된 오차 정도를 그래프로 그리고, 알고리즘이 수렴을 통해서 결정 경계를 찾는 과정을 눈으로 확인할 수 있습니다. 

 

ppn = Perceptron(eta=0.1, n_iter=10)

ppn.fit(X, y)

plt.plot(range(1, len(ppn.errors_) + 1), ppn.errors_, marker='o')
plt.xlabel('Epochs')
plt.ylabel('Number of errors')

plt.show()

 위 코드를 실행하면 epoch에 따라 오차가 얼마나 달라지는지 확인할 수 있습니다. 1번에서 공부한 코드를 미리 실행시킨 다음에 덧붙여야한다는 것을 잊지 마세요! 이번 과정은 Perceptron 메서드에 데이터를 넣고 학습시키는 것입니다.

그림 4. epoch에 따른 오차 수렴

 그리고 이제 결정 경계를 그래프 상에 표현해보도록 하겠습니다. 아래 함수는 산점도와 결정경계를 그리는 간단한 함수입니다.

from matplotlib.colors import ListedColormap


def plot_decision_regions(X, y, classifier, resolution=0.02):

    # 마커와 컬러맵을 설정합니다
    markers = ('s', 'x', 'o', '^', 'v')
    colors = ('red', 'blue', 'lightgreen', 'gray', 'cyan')
    cmap = ListedColormap(colors[:len(np.unique(y))])

    # 결정 경계를 그립니다
    x1_min, x1_max = X[:, 0].min() - 1, X[:, 0].max() + 1
    x2_min, x2_max = X[:, 1].min() - 1, X[:, 1].max() + 1
    xx1, xx2 = np.meshgrid(np.arange(x1_min, x1_max, resolution),
                           np.arange(x2_min, x2_max, resolution))
    Z = classifier.predict(np.array([xx1.ravel(), xx2.ravel()]).T)
    Z = Z.reshape(xx1.shape)
    plt.contourf(xx1, xx2, Z, alpha=0.3, cmap=cmap)
    plt.xlim(xx1.min(), xx1.max())
    plt.ylim(xx2.min(), xx2.max())

    # 샘플의 산점도를 그립니다
    for idx, cl in enumerate(np.unique(y)):
        plt.scatter(x=X[y == cl, 0], 
                    y=X[y == cl, 1],
                    alpha=0.8, 
                    c=colors[idx],
                    marker=markers[idx], 
                    label=cl, 
                    edgecolor='black')
                    
 
plot_decision_regions(X, y, classifier=ppn)
plt.xlabel('sepal length [cm]')
plt.ylabel('petal length [cm]')
plt.legend(loc='upper left')

plt.show()

 코드를 실행하면 아래와 같이 예쁜 결정 경계 그래프가 출력됩니다. 

그림 5. 결정 경계 그래프

 이를 통해 퍼셉트론의 결정경계가 완벽하게 두 개의 붓꽃 데이터를 분류한다는 것을 확인할 수 있습니다.

---

어떠셨나요? 처음으로 엄청 많은 코드들을 접하셨을테고, 파이썬이 생소하셨을 수도 있습니다. 하지만 사실 헷갈리는 문법들과 여태 본 적 없던 numpy 함수들, pandas 함수들이 어려운 것 같다고 생각하는 이유가 될 수 있습니다. 다 이해하시고 외우실 필요는 없습니다.

퍼셉트론 함수가 이렇게 돌아가고, 이 어려운 수식을 코드로는 이렇게 표현할 수 있구나, 라는 것을 받아들이시는게 중요합니다. 우리는 당장 모델을 만들지 않을 거니까요! 계속해서 실습 코드들은 나오겠지만, 여러분은 친숙해지시는 것을 목표로 하시길 바랍니다. 

다시 말씀 드리지만, 굳이 모든 코드를 다 이해하실 필요는 없습니다! 책을 다 보고, 다시 돌아와서 천천히 해도 늦지 않습니다. 모든 공부는 재미가 있어야하는데, 그렇게 하면 재미없을지도 몰라요. 

그럼 조금 더 가벼운 마음으로, 다음 번에는 적응형 선형 뉴런과 학습의 수렴에 대한 내용을 들고 오겠습니다. 아주 중요한 경사하강법이 나오니 놓치지 마세요!