[라이트 머신러닝] Session 3. 퍼셉트론 알고리즘의 수학적 정의

 제목에 놀라신 분들이 있을 거라고 생각합니다! 지난 시간까지 정말 '라이트' 하게 머신러닝에 대한 넓고 얕은 지식을 배웠다면, 이제는 야금야금 실습에 들어갈 시간입니다. 일단은, 먼저 머신러닝에 대한 간단한 역사와 퍼셉트론 학습 알고리즘에 대해 먼저 소개해드리도록 하겠습니다. 

1. 인공 뉴런의 수학적 정의

 머신 러닝은 AI를 설계하기 위해 우리 생물의 뇌가 동작하는 방식을 이해하려는 시도입니다. 1943년 워런 맥컬록과 월터 피츠가 처음으로 간소화된 뉴런 개념(맥컬록 피츠 뉴런)을 발표했습니다. 

그림 1. 뉴런 - 뇌의 신경세포

 맥컬록과 피츠는 신경 세포를 이진 출력을 만드는 논리회로로 표현했습니다. 수상돌기에 신호가 도착하면 세포체에 합쳐지고, 누적된 신호가 임계값을 넘으면 출력 신호가 생성되어 축삭돌기(말단)을 통해 전달됩니다. 이후 프랑크 로젠블라트가 MCP 뉴런 모델을 기반으로 한 퍼셉트론 학습 개념을 발표했습니다. 퍼셉트론 규칙에서 주목할만한 점은 자동으로 최적의 가중치를 학습하는 알고리즘 이 제안되었다는 것입니다. 여기서 가중치는 이후에 나올 식의 기울기로 이해하시면 됩니다.  

2. 인공 뉴런의 수학적 정의

 위에 언급된 인공 뉴런의 아이디어를 우리는 두 개의 클래스가 있는 이진 분류로 눈으로 확인할 수 있습니다. 두 클래스는 간단하게 양성 클래스(+1) 과 음성 클래스(-1)로 나타냅니다. 간단하게 양수와 음수와 같이 숫자를(여기서는 자료를) 나누는 기준이라고 생각하시면 이해하기 편하실거라고 생각합니다. 

 입력을 x라고 하고, 이에 따른 가중치 벡터(인공지능은 행렬의 곱을 매우 자주 사용하므로 행렬 곱을 위해 가중치를 벡터로 설정하는 것이 일반적인 것으로 알고 있습니다)w의 선형 조합을 통해서 결정 함수 ∅(z)를 정의합니다. (퍼셉트론 알고리즘에서 ∅( · ) 은 단위 계단 함수를 변형한 것입니다. 단위 계단 함수는 0보다 작은 수에서는 0, 0보다 큰 수에서는 1, 0에 대해서는 1/2의 값을 갖는 함수를 말합니다) 여기서 z는 최종 입력(net input)이라고 하고,

그림 2. z 함수

 이렇게 표현합니다. w들과 x들을 묶어주면 아래 그림과 같이 되겠죠.

그림 2. x와 w의 표현

 이제 특정 샘플, 그러니까 특정한 입력 x(i)의 값이 사전에 정의된 임계값을 초과하면 클래스 1로, 그렇지 않으면 클래스 -1로 예측합니다. 실제 신경세포에서로 빗댄다면 수상돌기에서 들어온 신호(입력)이 임계값을 초과하면 출력신호가 생성(클래스 예측)되어 전달되는 과정과 같습니다.

그림 3. 임계값의 표현

 간단하게 표현하면 위와 같이 됩니다. 여러분 모두 z의 식을 아직 기억하고 계시겠죠? 우리는 식을 좀 더 간단하게 표현하기 위해서 위의 수식에 나온 임계값 세타를 식의 왼쪽으로 옮겨서 w0을 세타의 음수값으로, x0은 1인 0본째 가중치를 만듭니다. 이렇게 하면 z는 아래 그림과 같이 됩니다. 

그림 4. z의 간단한 표현

 그림 4에서 보이는 w위 T는 이때 결정함수가 바로 그림 3입니다. 머신 러닝 분야에서는 음수 입계 값 또는 가중치인 w0을 바로 절편이라고 합니다.

그림 5. 결정함수와 결정 경계

 

2. 퍼셉트론 학습규칙

 로젠블라트의 초기 퍼셉트론 학습 규칙은 딱 3가지 입니다. 

1. 가중치를 0 또는 랜덤한 작은 값으로 초기화한다.
2. 각 훈련샘플 x(i)에 대해 출력값 y를 계산한다.
3. 가중치를 업데이트한다.

여기서 출력값은 앞에 나온 단위계단함수를 예측한 클래스입니다. 앞선 예시에 따르면 간단히 양성 레이블인지, 음성 레이블인지가 출력값이 되겠네요. 퍼셉트론 학습에서는 가중치가 업데이트가 되는데, 그것을 아래와 같이 쓸 수 있습니다. 

그림 6. 가중치 업데이트

이때 세모w, 그러니 w의 변화된 부분은 퍼셉트론 학습규칙에 의해 계산됩니다. 

그림 7. △w값 (변화) 

여기서 n은 학습률로, 0에서 1 사이의 실수입니다. y는 i번째 훈련 모델의 정답 클래스 레이블이고, y 햇(모자라고 해서hat이라고 부릅니다)는 예측 클래스 레이블을 뜻힙니다. 우리가 잊지 말아야할 점은 가중치는 벡터로 이루어진다는 점입니다. 이 방법으로 가중치를 업데이트 할 때, 벡터 안에 있는 모든 가중치가 동시에 업데이트 된다는 사실을 꼭 알아두어야합니다!

 

 수식에 대해서 이해가 되지 않으셨을 저와 같은 분들을 위해 자세한 예시를 하나 들어보도록 하겠습니다. 만약 우리가 설계한 인공지능이 정답을 정확하게 맞혔을 경우를 생각해봅시다. 이 경우에는 y와 y hat이 같은 값을 가지게 되고, 그럼 w의 변화율은 0이 되어 가중치는 변경되지 않습니다.

 반대로, -1을 1로 잘못 예측했을 경우엔 n(-1-1)x가 되므로 n(-2)x가 되어 가중치가 업데이트됩니다(적기 편하게 하기 위해 j와 i를 생략한 점 양해바랍니다). 혹은 1을 -1로 잘못 예측했을 때는 n(1--1)x로 n(2)x가 되어 가중치가 업데이트가 됩니다. 

 그럼 x에 대해서도 예시를 들어볼까요? 정답 레이블 y가 1, 학습률 n을 1이라고 가정 해봅시다. 우리 인공지능이 샘플 x가 0.5일 때 y hat을 -1로 잘못 예측했다면, 가중치의 차이(△w) = (1 - -1) * 0.5로 1이 됩니다. 조금전 가중치 계산 수식으로 돌아가보면, 초기 가중치가 0이었을 때 이제 가중치는 1로 업데이트 되어 단위 계단 함수의 임계값보다 최종입력이 커져서 샘플이 1로 분류될 가능성이 높어진 것입니다.

 정리해보면 가중치 업데이트는 샘플 x의 값에 비례합니다. x와 정답간의 오차가 크면 클 수록 가중치가 결정경계를 더 많이 움직이게 되는 것이죠. 

 퍼셉트론은 두 클래스가 선형적으로 구분되고 학습률이 어느정도 작을 때만 결정경계로 나눌 수 있습니다. 만약 선형 결결정 경계로 데이터를 나눌 수 없다면, 훈련을 반복할 최대 횟수(epoch, 에포크)를 지정해서 분류 허용 오차를 지정하는 것이 가능합니다. 에포크를 지정하지않고 학습을 계속한다면 퍼셉트론은 가중치 업데이트를 멈추지 않습니다.

그림 8. 선형 구분

 

 아래 그림은 퍼셉트론 알고리즘의 동작을 보여줍니다. 훈련샘플과 가중치를 통해 시그마로 표시된 최종입력을 계산하고, 예측 클래스 레이블의 출력으로 샘플의 y hat을 만듭니다. 학습 단계에서 출력으로 예측 오차 Loss를 계산하고 가중치를 업데이트에 학습을 계속하는 과정을 거칩니다.

그림 9. 퍼셉트론 알고리즘

 

 이번 시간에는 퍼셉트론 알고리즘의 수학적 정의에 대해 알아보았습니다. 수식을 사실 직접 계산할 필요는 없습니다. 우리의 똑똑한 컴퓨터 친구가 해줄테니까요! 퍼셉트론 알고리즘이 수학적으로 어떻게 동작하는지를 확인하고 이해하셨다면 성공입니다. 다음 시간에는 오늘 배운 퍼셉트론 알고리즘을 직접 파이썬으로 구현해보도록 하겠습니다. 

 건강한 댓글문화와 질의응답이 활발한 블로그를 지향합니다 :) 피드백과 질문은 언제나 환영합니다!