[라이트 머신러닝] Session 10. 누락 데이터와 범주형 데이터 다루기

 이번 세션에서는 데이터 전처리 중에서 누락 데이터와 범주형 데이터를 다루는 방법에 대해서 알아보도록 하겠습니다!

1. 누락된 데이터 다루기

 실제 모델에서는 여러 이유로 값이 누락된 샘플이 있는 경우가 허다합니다. 보통 누락된 값은 데이터 테이블에 빈 공간이나 예약된 문자열(NULL, NaN)으로 채워집니다. 그럼 이제 샘플을 제거하거나 다른 샘플이나 특성에서 누락된 값을 대체하는 방법을 소개하겠습니다.

 첫번째 과정은 당연히 누락된 값을 식별하는 것이겠죠. 일단 예제 데이터셋을 만들어보도록 하겠습니다. read_csv함수는 csv포맷 데이터를 판다스의 데이터 프레임으로 읽어옵니다. 여기 예제에서는 누락 데이터는 NaN으로 표시됩니다. 그리고 아래 코드에 쓰인 StringIO 는 csv_data에 저장된 문자열을 판다스 데이터 프레임으로 옮겨줍니다. 

import pandas as pd
from io import StringIO

csv_data = \
'''A,B,C,D
1.0,2.0,3.0,4.0
5.0,6.0,,8.0
10.0,11.0,12.0,'''

# 파이썬 2.7을 사용하는 경우
# 다음처럼 문자열을 유니코드로 변환해야 합니다.
# csv_data = unicode(csv_data)

df = pd.read_csv(StringIO(csv_data))
df

그림 1. 예제 데이터셋

만약에 데이터가 너무 크면 당연히 수동으로 누락된 값을 찾는 게 어렵겠죠? 이 경우에 isnull 메서드는 셀에 수치를 담고 있는지, 아니면 누락되었는지를 확인해주는 부울 값으로 채워진 dataFrame을 반환합니다. 여기에 sum 메서드를 이용하면 누락된 값의 개수를 쉽게 볼 수 있습니다.

df.isnull().sum()

그림 2. isnull함수

 그 다음은 누락된 값이 있는 샘플이나 특성을 제외하는 것인데요, 이 방법이 누락된 데이터를 다루기 가장 편한 방법입니다. 누락된 값이 있는 행을 제거할 때는 dropna 메서드를 이용하면 쉽게 삭제가 가능합니다.

df.dropna(axis=0)
df.dropna(axis=1)

그림 3. 행 삭제

그림 4. 열 삭제

 dropna의 axis가 0이면 누락된 값이 있는 행을 삭제하고, axis가 1이면 NaN이 하나라도 있는 열을 삭제합니다. 이외에도 df.dropna(how='all') 을 사용하면 모든 열이 NaN인 행을 삭제하고, thresh=3이라고 적으면 실수 값이 3보다 작은 행을 삭제합니다. 만약 subset = ['A']라면 A열에 NaN이 있는 행만 삭제합니다.

 누락된 데이터를 제거하는 것의 단점은 너무 많은 데이터를 삭제하면 분석할 때 불안정하다는 점과 너무 많은 특성 열을 삭제하면 분류기가 클래스를 구분하는데 필요한 정보를 잃을 위험이 있습니다. 

 따라서, 샘플을 삭제하거나 특성 열을 통째로 제거하기 어려울 때 보간(interpolation)기법을 사용합니다. 보간 기법을 이용하면 다른 훈련 데이터로부터 누락된 데이터를 추정할 수 있습니다. 가장 흔한 기법 중 하나는 평균으로 대체하는 것입니다. 각 열의 전체 평균으로 적용하는 것이죠. 사이킷런 imputer 클래스를 사용합니다.

from sklearn.preprocessing import Imputer

imr = Imputer(missing_values='NaN', strategy='mean', axis=0)
imr = imr.fit(df.values)
imputed_data = imr.transform(df.values)
imputed_data

그림 5. 보간 기법을 통한 평균 적용

 여기서는 NaN값을 각 특성 열마다 계산한 평균으로 정해주었습니다. strategy 매개변수에는 mean말고도 median, most_frequent를 넣어줄 수 있습니다. most_frequent는 가장 많이 나타난 값으로 누락된 값을 대체합니다. median은 말 그대로 중간값이죠.

 위에서 사이킷런의 Imputer 클래스를 사용했던 것을 기억하시죠? Imputer 클래스는 사이킷런 변환기(transformer)클래스입니다. 이러한 변환기의 주요한 메서드는 fit과 transform입니다. fit은 이전 세션에서도 많이 보셨다시피 모델을 학습시키고, transform메서드는 학습한 모델로 데이터를 변환합니다. 그림 6은 변환기가 데이터 셋들을 변환하는 과정입니다.

그림 6. 사이킷런 변환기 훈련과 변환과정

 이전 세션들에서 사용한 분류기는 변환기 클래스와 유사한 API를 가진 추정기(estimator)입니다. predict 메서드가 친숙하실 것 같네요. 추정기는 predict 메서드가 있지만 transform 메서드도 가질 수 있습니다. 분류를 위해 추정기를 훈련할 때는 fit을 이용해서 모델의 파리미터를 학습했고, 지도학습에서는 모델을 훈련할 때 추가 클래스 레이블을 제공하고 predict 메서드를 사용합니다. 그림 7에서 추정기와 변환기를 비교 확인하실 수 있습니다.

그림 7. 사이킷런 추정기의 훈련과 예측

 

2. 범주형 데이터 다루기

 지금까지 우리가 사용했던 데이터셋들을 돌이켜보면, 전부 수치형 데이터였다는 것을 쉽게 아실 수 있을텐데요, 실제 데이터는 하나 이상의 범주형 특성이 포함된 경우가 많습니다. 이러한 범주형 데이터를 수치 계산용 라이브러리에서 다루는 방법에 대해서 알아보도록 하겠습니다.

 처음으로, 범주형 데이터에 순서가 있는 것과 없는 것을 구분해야합니다. 순서가 있는 특성은 차례대로 놓을 수 있습니다. 예를 들어 크기를 순서로 S, M, L 으로 차례대로 놓을 수 있겠죠. 반대로 순서가 없는 특성은 차례를 부여할 수 없습니다. 색깔과 같은 것이죠. 일단 예제 대이터셋을 볼까요?

import pandas as pd

df = pd.DataFrame([['green', 'M', 10.1, 'class1'],
                   ['red', 'L', 13.5, 'class2'],
                   ['blue', 'XL', 15.3, 'class1']])

df.columns = ['color', 'size', 'price', 'classlabel']
df

그림 8. 범주형 데이터셋

 출력에서 볼 수 있듯이 범주형 중 순서가 없는 데이터 color와 순서가 있는 데이터 size, 수치형 데이터 price가 있습니다. 클래스 레이블은 마지막 열에 있네요. 

 다음은 순서 특성을 매핑하는 것인데요, 학습 알고리즘이 순서 특성을 올바르게 인식하기 위해서는 문자열을 정수로 바꾸어야 합니다. 위의 size 특성의 순서를 자동으로 바꿔주지 않기 때문에, 매핑 함수를 직접 만들어야합니다ㅠㅠ. 여기서 특성간의 산술적인 차이를 알고있다고 가정하면, XL = L + 1 = M + 2라고 합시다.

size_mapping = {'XL': 3,
                'L': 2,
                'M': 1}

df['size'] = df['size'].map(size_mapping)
df

그림 8. size 매핑

 이렇게 사이즈가 매핑되었네요! 만약에 정수 값을 다시 문자열로 바꾸고 싶다면 거꾸로 매핑하는 딕셔너리가 있습니다! 바로 inv_size_mapping={v:k for k, v in size_mapping.items()}를 정의해주면 됩니다. 해볼까요?

inv_size_mapping = {v: k for k, v in size_mapping.items()}
df['size'].map(inv_size_mapping)

그림 9. 거꾸로 매핑

 다음은 클래스 레이블을 인코딩하는 것입니다. 대부분의 라이브러리는 클레스 레이블을 정수로 인코딩 되었다고 생각하고 실행합니다. 사이킷런에서 제공하는 분류 추정기 대부분은 자동으로 레이블을 정수로 바꿔주지면 실수를 방지하기 위해서 클래스 레이블을 정수 배열로 전달해주는 것을 추천합니다. 

 클래스 레이블 인코딩은 앞의 매핑과 비슷합니다. 클래스 레이블에는 순서가 없습니다. enumerate를 이용해서 클래스 레이블을 0부터 할당해주고, 매필 딕셔너리로 클래스 레이블을 정수로 변환해줍니다.

import numpy as np

class_mapping = {label: idx for idx, label in enumerate(np.unique(df['classlabel']))}
class_mapping

df['classlabel'] = df['classlabel'].map(class_mapping)
df

그림 10. 클래스 인코딩

 이런 식으로 클래스 레이블을 정수로 변환시켜 주었습니다. 매핑 딕셔너리의 키와 값을 뒤집어서 클래스 레이블을 다시 원본 문자열로도 바꿀 수 있습니다.

inv_class_mapping = {v: k for k, v in class_mapping.items()}
df['classlabel'] = df['classlabel'].map(inv_class_mapping)
df

 

다른 방법으로는 사이킷런의 LavelEncoder 클래스를 사용할 수 있습니다. fit_transform 메서드는 이름에서 알 수 있듯이 fit과 tranform을 합쳐놓은 메서드입니다. 이것을 inverse_transform메서드로 되돌릴 수 있습니다.

from sklearn.preprocessing import LabelEncoder

# class label encoder
class_le = LabelEncoder()
y = class_le.fit_transform(df['classlabel'].values)
y

# inverse
class_le.inverse_transform(y)

 

 다음으로는 중요한 개념인 원-핫 인코딩에 대해서 이야기하도록 하겠습니다. 순서가 없는 특성에도 매핑하는 것과 비슷한 방식을 사용할 수가 있습니다. 코드로 볼까요?

X = df[['color', 'size', 'price']].values

color_le = LabelEncoder()
X[:, 0] = color_le.fit_transform(X[:, 0])
X

 

 이렇게 하면 blue가 0, green은 1, red는 2가 됩니다. 자 이제 이 배열을 분류기에 넣으면 어떻게 될까요? 문제가 생기겠죠. 무슨 문제가 생길까요? 컬러 값에는 순서가 없지만 분류기는 red, green, blue 순서로 크다고 생각할 것입니다. 이건 옳지 않은 결과지만 의미가 있을 수는 있겠죠. 하지만 결과는 최선이 아닙니다.

 이 문제를 해결하기 위한 방법이 바로 원-핫 인코딩(one-hot encoding)입니다. 이 방식은 특성에 들어있는 고유한 값마다 새로운 dummy 특성을 만드는 것이죠. 예를 들면 color 특성을 세 개의 새로운 특성 green, blue, red로 변환하는 것입니다. 이진 값으로 표현할 때, blue는 blue = 1, green = 0, red = 0으로 인코딩 됩니다. 사이킷런에서는 preprocessing 모듈의 OneHotEncoder을 사용할 수 있습니다.

from sklearn.preprocessing import OneHotEncoder

ohe = OneHotEncoder(categorical_features=[0])
ohe.fit_transform(X).toarray()

그림 11. 원핫 인코딩

 
 OneHotEncoder을 초기화할 때 변환하려는 특성 열을 categorical_features에 전달합니다. 원핫인코더의 transform은 희소 행렬(sparse matrix)를 반환합니다. 이 내용을 보려면 희소 행렬의 toarray로 넘파이 배열로 반환시킬 수 있습니다. 희소 행렬은 대량의 데이터를 저장할 때 효율적입니다. 특히 0이 많을 때요. 사이킷런은 많은 희소 행렬을 지웒반디다. OneHotEncoder(... , sparse=False)처럼 인코더를 초기화하면 바로 배열을 얻을 수도 있습니다.

 원핫 인코딩으로 더미 변수를 만드는 편리한 방법은 판다스의 get_dummies 메서드를 사용하는 것입니다. DataFrame에 적용하면 get_dummies 메서드는 문자열 열만 변환하고 나머지는 그대로 둡니다.

pd.get_dummies(df[['price', 'color', 'size']])

그림 12. 판다스 원핫 인코딩

 원핫 인코딩된 데이터를 사용할 때는 다중 공선성(mulicollinearity)를 생각해야합니다. 역행렬을 구해야하는 경우에는 문제가 될 수 있기 때문이죠. 특성간 상관관계가 높으면 역행렬을 계산하기 힘들어 수치적 불안정성이 높아집니다. 이 상관관계를 감소시키기 위해 인코딩된 배열의 열 하나를 삭제합니다. 만약 color_blue를 삭제해도 color_green은 0이고 color_red가 0이면 blue가 1임을 알 수 있으므로 데이터에는 손실이 없습니다.

 get_dummies를 사용할 때 drop_first를 true로 설정해 첫 번째 열을 삭제할 수 있습니다.

pd.get_dummies(df[['price', 'color', 'size']], drop_first=True)

 

OneHotEncoder은 열을 삭제할 수 없습니다. 하지만 아래 코드를 사용하면 넘파이 배열을 슬라이싱할 수 있습니다.

ohe = OneHotEncoder(categorical_features=[0])
ohe.fit_transform(X).toarray()[:, 1:]

그림 13. 슬라이싱

 

---

이렇게 누락된 데이터와 범주형 데이터를 다루는 방법에 대해서 알아보았습니다. 실전에서 많이 쓰이는 개념이고, 
OneHotEndoding 역시 중요하게 다뤄지는 개념이니 잘 알아두시길 바랍니다! 다음 세션부터는 데이터 전처리에 관한 글을 들고 오도록 하겠습니다. 좋은 하루 되세요!