🐬 ML & Data/🎫 라이트 머신러닝

[라이트 머신러닝] Session 9. 결정 트리 학습

이번 세션에서는 모델의 결정 과정을 설명할 때 아주 중요한 결정 트리(decision tree) 분류기라는 모델을 소개해드리도록 하겠습니다. 1. 결정트리란? 결정 트리는 어떤 질문에 대한 결정을 통해서 데이터를 분해하는 모델이라고 할 수 있습니다. 그림 1에서 예를 들어볼까요? 결정 트리는 훈련 데이터의 특성을 기반으로 샘플의 클래스 레이블을 추정할 수 있는 질문을 학습합니다. 예시는 범주형 변수를 사용했지만 동일한 개념은 붓꽃 데이터셋 같은 실수형 특성에서도 적용됩니다. 예를 들어 "꽃잎의 길이가 3cm보다 긴가요?"라는 예/아니오 질문을 할 수 있습니다. 결정 알고리즘을 사용하면 트리의 루트, 그러니까 트리의 기원이 되는 부분부터 시작해서 정보 이득(Information Gain, IG)가 최대가 ..

[라이트 머신러닝] Session 8. 최대 마진 분류와 비선형 문제 풀기

이번 세션에서는 최대 마진과 SVM, 비선형 분류 문제를 풀어보도록 하겠습니다. 1. 서포트 벡터 머신과 최대 마진 분류 서포트 벡터 머신(support vector machine, SVM)은 퍼셉트론의 확장이라고 할 수 있습니다. 퍼셉트론이 분류 오차를 최소화했다면 SVM의 최적화 대상은 마진을 최대화하는 것입니다. 마진은 클래스를 구분하는 결정 경계와 결정 경계에 가장 가까운 훈련 샘플 사이의 거리입니다. 이 가장 가까운 훈련 샘플을 서포트 벡터(support vector)라고 합니다. 우리가 마진이 큰 결정 경계를 원하는 이유는 일반화할 때 오차가 낮아지는 경향이 있기 때문입니다. 마진이 작으면 작을 수록 결정 경계와 샘플의 거리가 가까워져 오버피팅될 가능성이 높습니다. 마진 최대화의 이해를 위해 ..

[라이트 머신러닝]Session 7. 로지스틱 회귀(logistic regression)

이전까지 설명했던 퍼셉트론 알고리즘은 간단하고 좋지만 클래스가 선형적으로 구분되지 않을 때는 수렴하지 않습니다. 따라서, 더 강력한 알고리즘 로지스틱 회귀를 설명하려고 합니다. 이름은 회귀지만 사실은 분류 알고리즘임을 잊지마세요! 1. 로지스틱 회귀의 이해와 조건부 확률 먼저, 오즈비(odds ratio)를 소개하도록 하겠습니다. 오즈는 특정한 상황이 발생활 확률로, 그림 1과 같은 수식을 갖습니다. 여기서 P는 예측할 대상, 양성 샘플을 의미합니다. 여기에 로그 함수를 취하면 로짓(logit)함수가 됩니다. 여기서의 로그는 예상하셨듯 자연로그입니다. logit함수는 0에서 1사이의 값을 입력받아서 실수 범위의 값으로 변환합니다. 가중치 w로 표현되었던 앞선 함수를 기억하시나요? 특성 가중치 합과 로그 ..

[라이트 머신러닝] Session 6. 사이킷런 입문!

이번 세션에서는 사이킷런 라이브러리를 이용해서 퍼셉트론을 훈련해봄으로써 사이킷런을 시작하도록 하겠습니다. 이번 세션도 전과 마찬가지로 저는 Google Colab으로 실습합니다. Colab에는 이미 사이킷런이 설치되어있으므로 별도의 설치없이 사용하시면 됩니다! https://colab.research.google.com Google Colaboratory colab.research.google.com 1. 데이터 주입과 표준화 이번 세션에서는 세션 4와 5에서 구현한 것과 비슷한 퍼셉트론 모델을 사용할 것입니다. 사용할 붓꽃 데이터 셋은 이미 사이킷런에 포함되어있으므로, 따로 다운받을 필요는 없습니다. 꽃 샘플 중에 꽃입 길이와 너비를 행렬 X에, 꽃 품종을 벡터 Y에 할당합니다. from sklearn..

[라이트 머신러닝] Session 5. 퍼셉트론의 메가 진화와 경사하강법!

이전 세션 두 개에서 우리는 퍼셉트론 함수를 학습하고 왔습니다. 기억하시나요? 기억이 안 나신다면 앞 두 개 글을 보고 오시는 것을 추천드립니다. 제가 공부하는만큼 앞 글들이 주기적으로 수정될 수 있음을 알아주시길 바랍니다ㅜㅜ https://dnai-deny.tistory.com/5 https://dnai-deny.tistory.com/6 이번 세션에서는 퍼셉트론 알고리즘의 진화버전인 아달린과 머신러닝에 있어서 매우 중요한 개념인 경사하강법에 대해 알아보도록 하겠습니다. 1. 적응형 선형 뉴런, 아달린 아달린은 단일 층 신경망의 또 다른 종류입니다. 버나드 위드로우와 테드 호프가 개발한 알고리즘이죠. 제목에서 보이듯 퍼셉트론이 진화한 형태라고 할 수 있습니다. 왜냐하면, 아달린에서는 비용 함수(cost ..

[라이트 머신러닝] Session 4. 파이썬으로 퍼셉트론 알고리즘 구현하기!

이번 시간에는 드디어 마침내 프로그래밍이 등장합니다. 이전 섹션에서 공부한 수식들을 파이썬 클래스와 함수로 구현하고, 머신러닝의 대표적인 데이터 중 하나인 붓꽃 데이터셋을 학습시키는 것 까지 해보도록 하겠습니다. 각자 앞 세션에서 이야기한 아나콘다나 파이썬을 설치하셔도 좋습니다. 저는 google colaboratory를 사용하려고 합니다. 설치없이 간편하니 사용하셔도 좋습니다 :) https://colab.research.google.com/ Google Colaboratory colab.research.google.com 1. 객체 지향 퍼셉트론 API 코드를 보기 전에, 먼저 간단한 사전 코드 정의에 대해서 알려드리겠습니다. 아래 Perception 클래스를 초기화한 후 fit 메서드로 학습하고, ..

[라이트 머신러닝] Session 3. 퍼셉트론 알고리즘의 수학적 정의

제목에 놀라신 분들이 있을 거라고 생각합니다! 지난 시간까지 정말 '라이트' 하게 머신러닝에 대한 넓고 얕은 지식을 배웠다면, 이제는 야금야금 실습에 들어갈 시간입니다. 일단은, 먼저 머신러닝에 대한 간단한 역사와 퍼셉트론 학습 알고리즘에 대해 먼저 소개해드리도록 하겠습니다. 1. 인공 뉴런의 수학적 정의 머신 러닝은 AI를 설계하기 위해 우리 생물의 뇌가 동작하는 방식을 이해하려는 시도입니다. 1943년 워런 맥컬록과 월터 피츠가 처음으로 간소화된 뉴런 개념(맥컬록 피츠 뉴런)을 발표했습니다. 맥컬록과 피츠는 신경 세포를 이진 출력을 만드는 논리회로로 표현했습니다. 수상돌기에 신호가 도착하면 세포체에 합쳐지고, 누적된 신호가 임계값을 넘으면 출력 신호가 생성되어 축삭돌기(말단)을 통해 전달됩니다. 이후..

[라이트 머신러닝] Session 2. 머신러닝 시작 전에 알아두면 좋은 것들

이번 포스트에서는 머신러닝을 시작하기 전에 알아두면 유용한 표기법과 용어, 머신러닝 모델을 만드는 과정과 사용하게 될 패키지에 대해서 알아보도록 하겠습니다. 내용에 대한 피드백은 언제나 환영합니다! 1. 알아두면 좋은 용어와 표기법 데이터셋은 행렬과 벡터를 통해서 표현됩니다. 일반적으로 샘플을 행으로, 특성은 열로 저장됩니다. 위 그림에서 첫 열에 보이는 숫자들은 샘플들을 나타냅니다. 각 샘플별로 특성들은 행 단위로, 각 특성에 대한 샘플들의 값은 열 단위로 표현됩니다. 보통 소문자는 벡터를, 대문자는 행렬을 나타내며, 위 첨자는 i번째 훈련 샘플을, 아래 첨자 j는 훈련 데이터의 j번째 차원을 나타냅니다. 2. 머신러닝 시스템 작업순서 머신러닝 작업은 크게 전처리 - 학습 - 평가 - 예측의 수순을 밟..

[라이트 머신러닝] Session 1. 너어얿은 시각으로 보는 머신러닝의 기초

[라이트 딥러닝] 1. ML Fundamental 2022년 11월 Chat GPT가 대중적으로 굉장히 넓게 알려지면서 서서히 붐이 오고 있던 인공지능 시장이 그야말로 전성기를 맞이했다는 생각이 드는 요즘입니다. LLM(Large Language Model) 뿐만 아니라 CV(Compu dnai-deny.tistory.com ※ 개정판을 작성하고 있습니다! 아래 글 보다는 링크를 확인하시는 것을 추천드립니다. 1. 머신러닝의 출현 여러분은 머신러닝이라는 단어를 처음 들을 때 어떤 생각이 드셨나요? 저는 처음에 머신러닝과 인공지능이 같은 단어라고 생각했습니다. 물론 아예 틀린 말은 아니지만, 머신러닝에는 인공지능이 포함되지 않으니 맞는 말도 아니라고 할 수 있죠. 20세기 후반, 자기 학습 알고리즘이 구현..

[라이트 머신러닝] 들어가는 글

이 카테고리에서는 세바스찬 라시카, 바히드 미자리리의 저서 를 통해 머신러닝에 대한 기본 지식을 넓히고, 다른 카테고리와 마찬가지로 함께 지식을 공유하고 공부해나가려고 합니다. 저 또한 머신러닝에 대해서는 거의 문외한에 가깝고, 아시다시피 프로그래밍을 시작하고 제대로 공부한 기간이 길지 않습니다. 제게 질문하시면 저는 성심성의껏 제가 아는 만큼 알려드리고 모르는 건 찾아드리려 노력할 것입니다. 하지만 제가 아닌 누구라도 이 블로그를 보시는 모든 분들이 함께 질문하고 대답할 수 있는 건강한 댓글의 Q&A 문화가 생겨나길 바랍니다! 모든 글에 잘못된 부분은 댓글을 통해 편하게 지적해주시면 감사하겠습니다. 앞으로 잘 부탁드립니다. 함께 공부해요 :)