๐ฌ ML & Data/๐ ๋ ผ๋ฌธ & ๋ชจ๋ธ ๋ฆฌ๋ทฐ
[Paper Review] Mamba - Linear Time Sequence Modeling with Selective State Spaces 2
3. Selective State Space Models3.1 Selection as a Means of Compression๋ณํฉ ์์ ์ ๊ดํ ๋๊ฐ์ง ์คํ ์์Selective Copying : ๊ธฐ์ตํ ํ ํฐ์ ์์น๋ฅผ ๋ฐ๊ฟ Copying Task๋ฅผ ์์ ํ๋ค. ๊ด๋ จ์๋ ํ ํฐ์ ๊ธฐ์ตํ๊ณ ๊ด๋ จ์๋ ํ ํฐ์ ๊ฑธ๋ฌ๋ด๋ ค๋ฉด ๋ด์ฉ ์ธ์ ์ถ๋ก (content-aware resoning)์ด ํ์ํ๋ค.Induction Heads : ์ ์ ํ ์ปจํ ์คํธ์์ ์ถ๋ ฅ์ ๋ผ ์๊ธฐ๋ฅผ ์๊ธฐ ์ํด์๋ ๋ด์ฉ ์ธ์ ์ถ๋ก ์ด ํ์ํ๋ค. LLM์ ๋์ ๊ณผ์ ์ค๋ช ์ ์ํด ๊ฐ์ฅ ๋ง์ด ์ฐ์ด๋ ๋งค์ปค๋์ฆ.์ด ์์ ์ LTI ๋ชจ๋ธ์ ์คํจํ ๋ชจ๋๋ฅผ ๋ณด์ฌ์ค๋ค. ํ๊ท์ ๊ด์ ์์ constant dynamics(์ฌ๊ธฐ์์๋ $\bar{A}, \bar{B}$)๋ context์..
[Paper Review] Mamba - Linear Time Sequence Modeling with Selective State Spaces 1
๋์จ์ง ๋ฒ์จ 1๋ ๋ ๋์์ง๋ง ์ต์ ๋ ผ๋ฌธ ๋ฆฌ๋ทฐ๋ฅผ ์ ํ์ง๊ฐ ๋ฐฑ๋ง๋ ์ ๋ ๋ ๊ฒ ๊ฐ์์ ํ ๋ฒ ์ฝ์ด๋ณด๋ mamba... ๊ทธ๋ฆฌ ์ ํํ ๋ฆฌ๋ทฐ๋ ์๋ ์ ์์ต๋๋ค. ์ฌ์ค ๋ฒ์ญ์ ๊ฐ๊น๊ณ ์ข ๋ ์ดํดํด๋ณด๋ฉด์ ๋ด์ฉ ์์ ํ๊ฒ ์ต๋๋ค. 1. Introduction์ต๊ทผ๋ค์ด Structured State Space Sequence Models(SSMs) ๊ฐ ์ํ์ค ๋ชจ๋ธ๋ง ๊ตฌ์กฐ ๋ถ์ผ์์ ์ ๋งํ ํด๋์ค๋ก ๋ฑ์ฅํ๋ค. ์ ํต์ ์ธ state space models์ ์๊ฐ์ ๋ฐ์ CNN๊ณผ RNN์ ํตํฉ์ ์กฐ์จํ๋ค(interpreted).Mamba์์๋ selective state space model์ ์๋ก์ด ์ข ๋ฅ๋ฅผ ์ ์ํ๋ค. ์ํ์ค ๊ธธ์ด์ ๋ฐ๋ผ ์ ํ์ ์ผ๋ก ํ์ฅํ๋ฉด์ transformer์ ๋ชจ๋ธ๋ง ํ์๋ฅผ ๋ฐ๋ผ์ก๊ธฐ ์ํด์ ๋ช๋ช์ axes(์ฌ..
[Paper Review] Transforming Cooling Optimization for Green Data Center via Deep Reinforcement Learning
* ๊ฐ์ธ์ ์ผ๋ก ์ฝ๊ณ ๊ฐ๋ณ๊ฒ ์ ๋ฆฌํด๋ณด๋ ์ฉ๋๋ก ์์ฑํ ๊ธ์ด๋ผ ๋ฏธ์ํ๊ณ ์ ํํ์ง ์์ต๋๋ค. ์ํด ๋ถํ๋๋ฆฝ๋๋ค :D Transforming Cooling Optimization for Green Data Center via Deep Reinforcement Learning Cooling system plays a critical role in a modern data center (DC). Developing an optimal control policy for DC cooling system is a challenging task. The prevailing approaches often rely on approximating system models that are built upon the knowled..
[Model Review] TadGAN(Time series Anomaly Detection GAN)
์ด๋ฒ์ ๊ณ ์ฅ์ง๋จ์ ๊ดํ ๊ณผ์ ๋ฅผ ํ๊ฒ ๋๋ฉด์ LSTM AE๋ CNN ๋ณด๋ค ์ต๊ทผ ๋ชจ๋ธ์ ์ ์ฉํด๋ณด๊ณ ์ถ์ด์ TadGAN์ ๊ณจ๋๋ค. ์์ง ์์ ํ ์ดํดํ๋์ง๋ ๋ชจ๋ฅด๊ฒ ์ผ๋ ์๊ฒ๋๋๋ก ์กฐ๊ธ ์ ์ด๋ณด๋ ค๊ณ ํ๋ค. TadGAN(Time series Anomaly Detection GAN) TadGAN์ 2020๋ ๋ฐํ๋ ๋ชจ๋ธ๋ก, ์ด๋ฆ ๊ทธ๋๋ก ์๊ณ์ด ๋ฐ์ดํฐ์ ์ด์ ํ์ง์ฉ GAN ๋ชจ๋ธ์ด๋ค. GAN ๋ชจ๋ธ์ ๋ณต์, ์ด๋ฏธ์ง ์์ฑ ๋ฑ์ ํนํ๋์ด ์๋๋ฐ, ์ด ์ฑ์ง์ ์ด์ฉํ์ฌ LSTM Auto Encoder์ฒ๋ผ ํจํด์ ๋ณต์ํ๋ฉฐ ํ์ตํ๊ณ , ์ดํ์ ๋ค์ด์ค๋ ์๋ก์ด ๋ฐ์ดํฐ๋ฅผ ๊ธฐ๋ฐ์ผ๋ก ์์ธกํ์ ๋ ์๋ฌ๊ฐ ํฐ ๋ถ๋ถ์ ์ด์์น๋ก ํ์งํ๋ ๊ฒ์ด๋ค. TadGAN์ ๊ตฌ์กฐ TadGAN์ 2๊ฐ์ Generator์ 2๊ฐ์ Critic ์ผ๋ก ๊ตฌ์ฑ๋๋ค. Gene..
[Model Review] YOLOv5 + Roboflow Annotation
! ์ฃผ์ ! ์ด ๊ธ์๋ ์ ์ yolo v5์ ๋ํ ์์ฝ๊ณผ ์งง์ ์ฌ์ฉ๋ฒ, ๊ทธ๋ฆฌ๊ณ roboflow annotation์ ๋ํ ๊ฐ์ธ์ ์ธ ๊ฒฌํด๊ฐ ์ฐ์ฌ์์ต๋๋ค. 1. YOLOv5 Summary You Only Look Once - one stage detection ๋ชจ๋ธ R-CNN์ด๋ Faster R-CNN๊ณผ ๋ฌ๋ฆฌ ์ด๋ฏธ์ง ๋ถํ ์์ด ์ด๋ฏธ์ง๋ฅผ ํ ๋ฒ๋ง ๋ณด๋ ํน์ง ์ ์ฒ๋ฆฌ๋ชจ๋ธ๊ณผ ์ธ๊ณต์ ๊ฒฝ๋ง ํตํฉ ์ค์๊ฐ ๊ฐ์ฒดํ์ง Backbone : input image → feature map CSP-Darknet https://keyog.tistory.com/30 Head : predict classes / bounding boxes Dense Prediction : One stage detector(predict classes + b..
[Model Review] MobileNet SSD ๋ ผ๋ฌธ ํต ๋ฆฌ๋ทฐ
ํ๋ฆฌํฐ๊ฐ ๋์ง ์์ต๋๋ค. ์ฃผ์! Mobile Object Detection model - based on VGG- 16 https://arxiv.org/abs/1704.04861 1. Summary VGG-16 ๊ธฐ๋ฐ ๊ธฐ๋ณธ ๋ชจ๋ธ์ด๋ค. ๊ธฐ์กด VGG-16 ๋ชจ๋ธ์ด 3x3x3 convolution์ 3-dimention์ผ๋ก ์ฌ์ฉํ๊ธฐ ๋๋ฌธ์ ์ด parameter ๊ฐ์๊ฐ 81๊ฐ์๋๋ฐ, mobile ๊ธฐ๊ธฐ ์์ ์ฌ๋ฆฌ๊ธฐ ์ํด depthwise convolution๊ณผ pointwise convolution์ ํจ๊ป ์ฌ์ฉํ์ฌ 331 x 3 + 311 x 3 = 27 + 9 = 36๊ฐ์ parameter๋ก ์ค์ธ ๋ฐฉ์์ ๋ชจ๋ธ์ด๋ค. → ์ด๋ฅผ Depth separable convolution ์ด๋ผ๊ณ ๋ถ๋ฅธ๋ค. 2. Architectur..