[라이트 머신러닝] Session 2. 머신러닝 시작 전에 알아두면 좋은 것들

 이번 포스트에서는 머신러닝을 시작하기 전에 알아두면 유용한 표기법과 용어, 머신러닝 모델을 만드는 과정과 사용하게 될 패키지에 대해서 알아보도록 하겠습니다. 내용에 대한 피드백은 언제나 환영합니다!

1. 알아두면 좋은 용어와 표기법

 데이터셋은 행렬과 벡터를 통해서 표현됩니다. 일반적으로 샘플을 행으로, 특성은 열로 저장됩니다.

그림 1. 붓꽃 데이터 (출처 - https://towardsdatascience.com/pca-using-python-scikit-learn-e653f8989e60)

 위 그림에서 첫 열에 보이는 숫자들은 샘플들을 나타냅니다. 각 샘플별로 특성들은 행 단위로, 각 특성에 대한 샘플들의 값은 열 단위로 표현됩니다. 보통 소문자는 벡터를, 대문자는 행렬을 나타내며, 위 첨자는 i번째 훈련 샘플을, 아래 첨자 j는 훈련 데이터의 j번째 차원을 나타냅니다.

 

2. 머신러닝 시스템 작업순서

 머신러닝 작업은 크게 전처리 - 학습 - 평가 - 예측의 수순을 밟습니다. 

2-1. 전처리

 전처리는 데이터 형태를 갖추는 작업으로 가장 중요한 단계이기도 합니다. 학습을 위해 주어진 원본 데이터가 알고리즘이 최적의 성능을 내게 하기에는 적합하지 않은 경우가 대다수이기 때문입니다. 머신러닝 알고리즘에서 최적의 성능을 내기 위해서는 특성을 [0, 1]의 범위로 변환하거나 표준 정규 분포로 변환하는 경우가 많습니다. 

그림 2. funnel

 전처리는 의미있는 데이터를 뽑아내는 작업입니다. 위의 붓꽃 데이터에서 의미 있는 특성을 추리자면 꽃의 색, 색조, 채도나 높이, 꽃의 길이와 너비가 있을 수 있겠죠. 의미 있는 데이터라고 생각하면 비지도 학습의 차원 축소가 떠오르지 않으시나요? 특성 데이터들이 중복된 정보를 가질 때에는 차원 축소 기법을 사용해 특성을 저차원 공간으로 압축합니다. 데이터에 필요 없는 특성이 많은 경우(신호 대 잡음비가 낮은 경우)에는 차원축소가 모델의 예측 성능을 높이기도 합니다.

 머신러닝 알고리즘을 잘 작동되는지 확인하기 위해서는 데이터를 훈련 데이터와 테스트 데이터로 잘 분할해야합니다. 훈련 데이터에서는 머신러닝을 공부시키고 최적화하고, 테스트 데이터를 통해서 후에 최종 모델을 평가하게 되죠.

2-2. 예측 모델 훈련과 선택

 데이비드 월퍼트는 No Free Lunch라는 이론에서 '아무런 대가도 치르지 않고 학습할 수는 없다' 고 말합니다. 속담과 연결 지어 생각하면 가진 도구가 망치밖에 없다면 모든 문제가 못으로 보일 거라는 말이 있죠. 분류로 예를 들어볼까요? 분류 알고리즘은 태생적으로 특정한 편향이 있습니다. 서로 특출난 재능이 있는 친구들이죠. 하지만 아무런 가정 없이 사용한다면 어떤 분류 모델이 더 우월한지 비교하기 어렵습니다.

 현실에서 가장 좋은 모델을 훈련하고 선택하기 위해서는 필연적으로 비교가 필요한데 이때 사용되는 지표가 바로 정확도(accuracy)입니다. 

 우리는 데이터를 테스트를 위해서 테스트 데이터셋을 따로 보관합니다. 하지만 테스트 데이터를 쓰지 않고 어떤 모델이 더 잘 동작할지 알 수 없지 않을까? 라는 의문이 생기기 마련입니다. 이때 이 문제를 해결하기 위해 우리는 다양한 교차 검증 기법을 사용하게 됩니다. 이 경우에는 훈련 데이터를 또 분할하여 훈련 세트와 검증 세트로 나눠둡니다. 

2-3. 새로운 샘플로 예측

 여기서 테스트 세트를 사용합니다. 이 테스트 세트에서 보여주는 정확도가 어느 정도인지, 일반화 오차를 예측한 예상할 수 있습니다. 여기서 성능에 만족한다면 전혀 모르는 데이터에 적용하여 예측시킬 수 있습니다. 이 전에 사용했던 모든 데이터는 훈련 세트만 사용했기 때문에 파라미터 자체가 훈련세트에 오버 피팅되지는 않았는지 확인해야 합니다. 그래서 테스트는 매우 중요합니다! 

 오버피팅은 훈련 데이터에 모델이 지나치게 높은 정확도를 보여주는 점입니다. 

그림 3. underfitting, appropriatefitting, overfitting (출처 - https://towardsdatascience.com/underfitting-and-overfitting-in-machine-learning-and-how-to-deal-with-it-6fe4a8a49dbf)

 이미지 순서대로 왼쪽은 정확도가 떨어지는 언더 피팅이고, 가운데는 적절한 모델이 학습된 것입니다. 오버 피팅은 훈련 데이터에 모델이 지나치게 맞춰져 다른 데이터를 만났을 때 정확도가 뚝 떨어지게 되는 것을 말합니다. 학습에 좋은 패턴은 아니죠. 예를 들어 50개의 수학 문제를 푼다고 할 때, 그냥 풀이과정과 답을 외워버리는 앞으로 자주 등장할 개념이니 알아두면 좋습니다!

 

3. 머신러닝을 위한 파이썬과 패키지

 머신러닝에서는 파이썬(python)을 사용하는 것은 유명합니다. 오픈소스도 많고, 유용한 라이브러리도 많기 때문이죠. 하지만 계산량이 많은 작업에서는 성능이 떨어지기 때문에, Numpy 패키지나 SciPy와 같은 라이브러리를 통해 연산을 빠르게 수행합니다. 지금 보고있는 이 책에서는 사이킷런(Scikit-learn)라이브러리로 대부분의 프로그래밍을 작업합니다.

그림 4. 사이킷런과 파이썬

3-1. 파이썬과 PIP에서 패키지 설치

 파이썬은 파이썬 공식 웹사이트 (https://www.python.org/)에서 문서와 설치파일을 확인할 수 있습니다. 지금 기준 가장 최신 버전은 3.8.1 입니다. 혹시 파이썬 2의 버전을 사용하신다면 3과 2 버전의 주요 차이점을 알아야 합니다! 업데이트를 권장하지만, 2로 실행하고 싶으시다면 파이썬 위키(https://wiki.python.org/moin/Python2orPython3/)를 확인하세요.

 파이썬 설치 후에는 굳이 패키지를 찾지 않아도 터미널에서 필요한 파이썬 패키지를 설치할 수 있습니다. pip 설치 프로그램을 이용하면 쉽게 패키지를 설치할 수 있습니다. pip install을 이용해 패키지를 설치하고, pip install --upgrade를 이용해 패키지를 업데이트합니다.

pip install 패키지 이름
pip install --upgrade 패키지 이름

3-2. 아나콘다 파이썬과 패키지

 아나콘다는 상업적 목적으로 사용할 수 있는 무료 파이썬 배포판입니다. 데이터과학, 수학, 공학용 필수 패키지들이 들어있고 모든 주요 운영체제를 지원합니다. (https://www.anaconda.com/distribution/) 아나콘다의 경우에는 pip가 아닌 conda를 사용해주면 됩니다.

conda install 패키지 이름
conda update 패키지 이름

3-3. 패키지

 앞으로 사용할 주요 패키지들은 Numpy, SciPy, Scikit-learn, Matplotlib, Pandas, Tensorflow, 여섯 가지로 나뉩니다. 

• Numpy 1.16.1 : 행렬이나 일반적으로 대규모 다차원 배열을 쉽게 처리 할 수 있도록 지원하는 라이브러리
• SciPy 1.2.1 : 수치적분과 미분방정식 해석기, 방정식의 근을 구하는 알고리즘, 표준 연속/이산 확률분포와 다양한 통계 관련 도구
• Scikit-learn 0.20.0 : NumPy, SciPy 및 Matplotlib에 있으며, 이 라이브러리는 분류, 회귀, 클러스터링 및 차원 저감을 포함하여 기계 학습과 통계 모델링에 효과적인 도구 포함
• Matplotlib 3.0.2 : 매트랩과 유사한 그래프 표시를 가능케 하는 라이브러리
• Pandas 0.24.1 : 데이터 조작 및 분석을 위해 Python 프로그래밍 언어로 작성된 소프트웨어 라이브러리
• Tensorflow 2.0.0 : 데이터 흐름 프로그래밍을 위한 오픈소스 소프트웨어 라이브러리

---

 

 여기까지 머신러닝의 기초 개념들과 세팅에 대해서 알아보았습니다. 해당 패키지는 필요할 때 설치하셔도 무방합니다! 다음 포스팅부터는 간단한 분류 알고리즘에 대해서 알아보도록 하겠습니다. 최대한 모두가 이해할 수 있는 글을 지향합니다! 오타나 내용 오류, 개선해야 할 부분에 대한 피드백은 항상 환영합니다!