ERROR DENY

2026년 1월에 부서 이동이 있었다. 사실상 이직 및 직무 변경이다. 회사 구조상 부서마다 하는 프로젝트 등이 완전히 결이 다르기 때문에 그렇다.2023년에 처음 회사에 입사했을 때부터 어떤 일을 했는지를 정리해볼 필요가 있다. 내가 주로 맡은 일을 뭐라고 소개하기가 어려웠다. 굉장히 작은 팀에 있었고, 사람이 적기 때문에 필요한 일이 생기면 그게 뭐든지 해야하는 환경이었다. 때문에 내가 3년 가까이 재직하면서 가장 끝까지 고민했던 것이 바로 전문성의 부재, 물경력이었다. AI(이상 탐지, 신호 분석, 강화학습, 비전)모니터링 용 웹 개발(FastAPI + JavaScript)DB (PostgreSQL, Redis)MQTT 등 통신 프로토콜아두이노 칩 기반 디바이스 제어, 데이터 수집이렇게 다양한 걸 ..

최근에 stm32 칩의 펌웨어 개발 관련된 일을 하고 있는데, 개발된 프로그램에 FreeRTOS를 얹는 작업을 했다. 때문에 FreeRTOS를 적용하는 방법과 이유에 대해 정리해보고자 한다.1. RTOS란FreeRTOS는 RTOS의 일종이다. RTOS란 Real Time Operating System의 약자로 입력된 작업을 제한된 시간 내에 반드시 처리하여 예측 가능한 결과와 안정성을 보장하는 특수 목적의 운영체제이다. 말하자면 임베디드 IoT를 위한 운영체제라는 것이다.임베디드 펌웨어 개발을 처음 해보면서 알게된 것은 펌웨어 단에서는 OS없이도 프로그램 동작을 시키는 일이 잦다는 것이다. 없이도 할 수 있는데도 OS를 쓰는 이유에 대해 생각해보면, 관리의 편의성이 있다. OS는 스케줄링을 제공한다. 여..

5.4 Monte Carlo without Exploring Starton-policy : 결정을 내리는데 사용하는 정책을 평가 or 개선 ($Q_{\pi}$ 학습, $\pi$ 개선)off-policy : 데이터 생성 정책과는 다른 정책을 평가 or 개선($\pi$와 다른 $\mu$를 사용해 데이터를 얻고 $Q_{pi}$)관찰용 정책이랑 평가/개선하는 정책이 따로인듯?monte carlo ES는 on-policy 방식. Exploring Start 없이 on-policy 제어를 설계on-policy 제어는 일반적으로 soft 하다. soft 정책 = $\pi(a|s) > 0$ 일반적으로 사용하는 방식은 $\epsilon$-greedy 방식. greedy를 따르지만 아주 적은 확률로 무작위 행동 선택G..

5. Monte Carlo Methods환경에 대한 완전한 지식을 가정하지 않는다. 경험(환경과의 상호작용으로부터 얻은 상태, 행동, 보상 샘플 시퀀스) 만을 요구한다. 이전에는 완전한 환경 지식을 가정했었음.sample returns 를 평균하는 것에 기반하여 문제를 해결episode task (value 추정치와 policy는 에피소드 완료 시점에만 변경되고 모든 에피소드는 결국 종결)에 대해서만 정의.monte carlo 여기서는 완전한 반환값 평균 방법state-action 쌍에 대해 return을 샘플링하고 평균을 구한다. => 각 행동에 대해 보상을 샘플링하고 평균는 bandit method와 유사다른 점여러 개의 상태가 있음각 상태가 다른 밴딧 문제처럼 작용함서로 연관되어 있음한 상태에서 행..

Dynamic ProgrammingDP는 Markov Decision Process에 완벽한 환경 모델이 주어졌을 때 optimal policy 연산에 사용가능한 알고리즘의 모음계산 비용이 세기 때문에 유용성은 제한되어 있지만 이론적으로 중요하니 짚고 넘어가자유한 MDP로 가정$$s \in S, a \in A, r \in R, and \ s' \in S^{+}, p(s',r|s,a)$$정확하게 dp로 문제를 해결하는 건 드문 경우이고, 연속적인 상태와 행동에 대한 대략적인 솔루션을 얻는 방법은 action space를 양자화하고 유한 state dp 방식 적용DP 알고리즘은 Bellman Equation을 근사치 개선을 위한 업데이트 policy로 변환해서 얻는다.1. policy evaluation임의..

수학주의... 어려워서 교재에 나와있던 것보다 마아아아않이 풀어쓰고 기본 개념을 덧붙였다. Markov Decision Process위 까지는 유한 공간에 대한 reward 정의였음(Markov Reward Process)finite MDP에서는 state와 action을 one-step dynamics로 정의했음.이제 Markov Decision Process에 대해 얘기해봅시다기본 동역학(Dynamics)$$p(s', r|s, a) = Pr{R_{t+1}=r, S_{t+1}=s'|S_{t},A_{t}}$$현재 상태가 s, 에이전트가 a 행동을 취했을 때 다음 상태가 s'이고 동시에 보상 r을 받을 확률= 이걸 알면 환경 작동 방식을 완전히 안다는 의미 => 동적 계획법 사용 가능기본 동역학만 알면 ..

Frame$t = 0, 1, 2, 3, \cdot\cdot\cdot$ : Timestep$S_{t} \in S$ : 환경에서 관측 가능한 state 집합 $S$ 중 하나인, timestep $t$ 시점의 state$A_{t} \in A(S_{t})$ : $S_{t}$ 상태에서 취할 수 있는 행동 집합 $A(S_{t})$ 중 하나인, timestep $t$ 시점의 action$R_{t+1} \in R \subset \mathbb{R}$ : Action을 취하고 timestep 1이 지나고 나면 action의 결과로 reward가 나옴$S_{t+1}$ : 이하 동일이 모든 step에 agent는 state로부터 선택 가능한 각각의 action에 대한 확률을 mapping 구현한다.이 mapping이 poli..

아따 강화학습은 해도해도 헷갈린다. 아무래도 내가 기반없이 일단 쓰고 봤기 때문이겠지... 때문에 기반을 다지는 시간을 가져본다. Richard S. Sutton and Andrew G. Barto의 라는 강화학습계의 바이블 같은 책을 슥슥 읽고 수식을 정리하면서 이해를 해보기로 한다. 책은 온라인 공개되어 있으므로 영문 번역기와 함께라면 무서울 것 없다!!! 제미나이 프롬프트를 하나 짜서 개인교사를 두고 모르는 걸 물어보면서 공부했다. 냅다 붙여넣기 하고 설명해달라는 게 많으니까 주의..https://gemini.google.com/share/c194067ca041CHAPTER 1. THE REINFORCEMENT LEARNING PROBLEM1.1 Reinforcement learning강화학습 문제..

TS.ADD ts:sensor:123 * 23.4늘 그랬듯이 다소 갑작스럽게 일주일 내 Redis로 짧은 기간의 데이터 적재, 백업, 트리거 발생시에 Restful API 호출을 담당하는 프로그램을 만들어달라는 요청을 받아서 급하게 Redis를 공부하게 됐다. 1. Redis란 무엇이고 어떻게 써야하는가Redis는 인메모리(In-memory) NoSQL DB이다. 내가 써 본 NoSQL은 key-value 형태로 데이터를 관리하는 DB로 학부생 저학년 시절에 찍먹해본 Firebase 뿐이긴 했는데, NoSQL보다도 인메모리가 더 중요한 개념이지 싶다.DB는 Query를 어떻게 짜느냐에 따라 다르기야 하지만 그래도 빠른 편은 못된다. 요즘과 같은 대용량 데이터와 트래픽을 고속 처리해야하는 작업환경에서 사용..

이번에 업무과정에서 썼던 툴들을 정리해보면서 k8s 웹 배포를 작년에 했던 기억을 되살려 다시 공부해보면서 포스팅하기로 했다. 지난 포스팅에서는 DB 설정에 필요한 파일들을 만들어보면서 PV, PVC, configmap 등 내가 헷갈렸던 것들을 정리해보는 시간을 가졌다. 이번 포스팅에서는 kubernetes의 네트워킹에 대해서 간단히 알아보고, ingress와 gateway에 대해 정리하고, 나의 삽질(...)을 기록하도록 하겠다.목표GKE(Google Kubernetes Engine)와 GCE(Google Compute Engine) 등을 활용한 풀스택 웹 서비스 배포하기docker file 구성하기kubectl 활용하기쿠버네티스 구성에 관한 이해 및 적용DeploymentStatefulSetPersi..