🐬 ML & Data

[라이트 딥러닝] n. Backpropagation 수식 풀이 및 검증

출처: https://mattmazur.com/2015/03/17/a-step-by-step-backpropagation-example/ A Step by Step Backpropagation Example Background Backpropagation is a common method for training a neural network. There is no shortage of papers online that attempt to explain how backpropagation works, but few that include an example… mattmazur.com feed forward 계산 1. h1 구하기 $$net_{h1} = 0.05 * 0.15 + 0.1 * 0.2 + 0.35..

[MPC] 4. Optimal Control(2) - Taylor Series 적용, Algebraic Riccati Equation(ARE) 구하기

LQR에 적용 $$V^{*}(x(t), t) = \underset{u[t, t+\Delta t]}{min} \{ \Delta t \cdot l[x(t + \alpha \Delta t), u(t + \alpha \Delta t), t + \alpha \Delta t] + V^{*}(x(t + \Delta t), t+\Delta t) \}$$ 이 식에서 $V^{*}(x(t + \Delta t), t+\Delta t)$ 부분을 위 Taylor Series로 x와 t에 대해서 정리해보자. $x = (x(t), t), v = \Delta t$ 라고 생각하자. 정리하면 아래와 같다. $$V^{*}(x + v) = V^{*}(x) + f'(x)v + f(x)v' + \frac 12 f''(x)v^{2}+ \frac1..

[MPC] 4. Optimal Control(1) - LQR과 Taylor Series(테일러 급수)

optimal control 기초 - LQR(Linear Quadratic Regulator) LQR이 기초라서 요걸로 system : $\dot x = f(x, u, t), x(t_{0}) = x_{0}$ cost function : $$V(x(t_{0}), u, t_{0}) = \int_{t_{0}}^{T} l[x(\tau), u(\tau), \tau]d\tau + m(x(T))$$ 위 cost function을 최소화하는 입력 $u^{*}(t), t_{0}\le t \le T$ 찾기 -> optimal control의 목적 principle of optimality 에 따라 한 해가 최적이면 sub problem의 해도 최적이 된다. $t_{0} < t < t_{1} < T$ 로 $t_{1}$ 추가..

[MPC] 3. 상태(state)와 출력(output) 예측해보기

Input / Output 정리 $N_p$ : 예측하려는 미래 출력 수 $N_c$ : 예측하려는 미래 제어입력 수 경로 추적의 경우, $N_p$개 점을 tracking 하기 위한 $N_c$개 제어 명령... Control Input $\Delta u(k), \Delta u(k+1), \Delta u(k+2), \cdots, \Delta u(k + N_{c} - 1)$ Output $y(k), y(k+1), \cdots, y(k+N_{p})$ $y(k) = Cx(k)$ 이므로 $y(k+1) = Cx(k+1), y(k+2) = Cx(k+2), \cdots$ 로 표현 가능 따라서 예측 state $x(k+1), x(k+2), \cdots, x(k+N_{p})$를 구하면 됨 State variable 구하기 $..

[MPC] 2. 상태 공간 방정식 유도

MPC 상태 공간 방정식 유도 상태공강 방정식 + LTI(Linear TimeINvariant, 선형 시간 불변 시스템)의 경우 => Continuous-time state-space model 상태 방정식 : $$\bar{x} = Ax + Bu$$ 출력 방정식 : $$y = Cx$$ MPC는 discrete 한 환경 => Discrete-time state-space model 상태 방정식 : $$x(k+1) = A_{d}x(k) + B_{d}u(k)$$ 출력 방정식 : $$y(k) = C_{d}x(k)$$ MPC 기본 모델은 Discrete-time aumented state-space model 상태 변수 대신 상태 변수의 변화량 $\Delta x$ 사용 상태 방정식 $${x(k+1) - x(k) ..

[MPC] 1. Model Predictive Control Intro

유튜브 https://www.youtube.com/watch?v=zU9DxmNZ1ng&list=PLSAJDR2d_AUtkWiO_U-p-4VpnXGIorrO-&index=1 블로그 https://sunggoo.tistory.com/65 위 자료를 기반으로 공부한 내용을 가볍게 정리하려고 합니다. 수식 증명이 많겠고, 그 뒤로는 목적에 따라 논문이나 코드 구현을 보면서 추가해보겠습니다. MPC(Model Predictive Control)의 컨셉 기기 상태 변화(dynamics) + 주변 환경 요소 => cost function 제어공학 비선형 / 비볼록(Non-linear, Non-convex) 대상 공부하면서 느끼기에는 강화학습의 향기가 좀 있음 Flow k-1 일 때의 상태 변수를 기반으로 k+1 ~ ..

[Math] Mathematics for Machine Learning 2. Linear Algebra

근래에 정말이지 수학 공부의 필요성을 느껴서 MML 이라는 머신러닝 수학의 바이블 같은 책으로 공부를 시작했는데... 일단 영어고(!), 용어가 너무 많고(!), 내용도 어려워서 아주 애를 먹고 있다. 어찌저찌 이해했다고 생각했는데 연습문제를 보니까 또 이야~ 모르겠고 난리다... 답안지를 봐도 이해가 어려운 부분이 많아서 꼼꼼하게 가이드 따라 두세번 풀어봐야 이해가 되지 싶다. 근데 너무 어렵다 ㅎㅋ... 선형대수 강의를 수강했었는데도 내가 들었던 선형대수 강의의 범위보다 더 넓은 듯 하다. 아무튼 아래 링크는 참고한 사이트 등. 한국어 번역 해주신 준별님 정말 감사합니다... 비교하며 보고 있습니다... 교재 - pdf 무료 공개(https://mml-book.github.io/book/mml-boo..

[라이트 딥러닝] 1. 넓은 시각으로 보는 머신러닝 개괄

2022년 11월 Chat GPT가 대중적으로 굉장히 넓게 알려지면서 서서히 붐이 오고 있던 인공지능 시장이 그야말로 전성기를 맞이했다는 생각이 드는 요즘입니다. LLM(Large Language Model) 뿐만 아니라 CV(Computer Vision) 분야에서는 저작권 문제가 대두되고 있기는 하지만 사진과 그림체를 학습시켜 그림체를 입은 새로운 그림을 만들어내고, 음성합성 분야에서는 인공지능을 활용해 TTS가 노래를 부르게 하기도 합니다. 눈에 보이는 서비스를 제공하는 위와 같은 분야를 제외하고도 인공지능을 통한 이상탐지 솔루션, 강화학습을 활용한 게임 봇(Bot) 생성 등 아직 저도 완벽히 쓰임을 다 알지 못하는 무궁무진한 분야에서 딥러닝이 사용되고 있습니다. 이번 포스팅에서는 AI를 공부하기로 ..

[강화학습] Dealing with Sparse Reward Environments - 희박한 보상 환경에서 학습하기

※ 아래 링크의 내용을 공부하며 한국어로 정리한 내용입니다. Reinforcement Learning: Dealing with Sparse Reward Environments Reinforcement Learning (RL) is a method of machine learning in which an agent learns a strategy through interactions with its environment… medium.com 1. Sparse Reward Sparse Reward(희박한 보상) : Agent가 목표 상황에 가까워졌을 때만 긍정 보상을 받는 경우 현재 실험 환경 세팅과 같음 Curiosity-Driven method agent가 관심사 밖의 환경에도 동기를 받도록 Curric..

[강화학습] DDPG(Deep Deterministic Policy Gradient)

DQN의 차원의 저주 문제(고차원 action을 다루는 경우 연산 속도가 느려지고 memory space를 많이 요함)를 off-policy actor critic 방식으로 풀어낸다. 기존 DQN 방식의 insight들에 batch normalization replay buffer target Q network Actor-critic 파라미터화 된 actor function을 가짐 actor function : state에서 특정 action으로 mapping하여 현재 policy를 지정 policy gradient 방식으로 학습 여기에서 J가 Objective Function(목표함수) actor function이 목표 함수를 gradient asent로 최대화→ 이 때의 policy parameter..