๐Ÿฌ ML & Data/โ” Q & etc.

    [Model Compression] ๋ชจ๋ธ ์–‘์žํ™”(Model Optimization) with Tensorflow

    ๋”ฅ๋Ÿฌ๋‹ ๋ชจ๋ธ์„ ๊ฒฝ๋Ÿ‰ํ™”ํ•˜๋Š” ๊ฒƒ์€ ๋ชจ๋ธ ํ•™์Šต ์ดํ›„ ์‹ค์ œ ๋ฌธ์ œ์— ๋”ฅ๋Ÿฌ๋‹ ํ•ด๋ฒ•์„ ์ ์šฉํ•˜๋Š” ๊ณผ์ •์— ์žˆ์–ด์„œ ์‹คํ–‰ ์‹œ๊ฐ„, ์˜ˆ์ธก์— ํ•„์š”ํ•œ ๋ฆฌ์†Œ์Šค ์†Œ๋ชจ๋Ÿ‰์„ ์ค„์ด๊ธฐ ์œ„ํ•ด์„œ ํ•„์š”ํ•œ ๊ณผ์ •์ด๋‹ค.๋ชจ๋ธ ๊ฒฝ๋Ÿ‰ํ™”์—๋Š” (๋‚ด๊ฐ€ ์•Œ๊ณ  ์žˆ๊ธฐ๋กœ๋Š”) ์„ธ ๊ฐ€์ง€ ๋ฐฉ๋ฒ•์ด ์žˆ๋Š”๋ฐ,๋ชจ๋ธ ์–‘์žํ™”(๋น„ํŠธ ์ˆ˜๋ฅผ ์ค„์ด๋Š” ๋ฐฉ์‹)๋ชจ๋ธ pruning(์ค‘์š”ํ•˜์ง€ ์•Š์€ ๋ถ€๋ถ„์„ ๋ฒ„๋ฆฌ๋Š” ๋ฐฉ์‹)๊ทธ๋ƒฅ ๋ชจ๋ธ ์„ค๊ณ„๋ฅผ ์ž˜ํ•˜๊ธฐ์ค‘์— ์ด๋ฏธ ํ•™์Šตํ•œ ๋ชจ๋ธ์— ์žˆ์–ด์„œ ๊ฐ€์žฅ ์‰ฌ์šด ์–‘์žํ™”๋ฅผ ์šฐ์„  ํ•˜๊ธฐ๋กœ ๊ฒฐ์ •ํ•˜์˜€๋‹ค. Tensorflow ๊ธฐ๋ฐ˜์˜ ๋ชจ๋ธ์„ ์–‘์žํ™”ํ•˜๋Š” ์˜ˆ์ œ๋ฅผ ๊ธฐ๋กํ•ด๋‘”๋‹ค.Tensorflow๋กœ ๊ตฌ์„ฑ๋˜์–ด ํ•™์Šตํ•˜๊ณ  ๊ฐ€์ค‘์น˜๋ฅผ .h5 ํ™•์žฅ์ž๋กœ ์ €์žฅํ•œ ๋ชจ๋ธ1. ๋ชจ๋ธ ์–‘์žํ™”a. ๋ชจ๋ธ ๋ถˆ๋Ÿฌ์˜ค๊ธฐimport tensorflow as tfmodel = your_model(parameter)model.load_wei..

    [Math] Mathematics for Machine Learning 2. Linear Algebra

    ๊ทผ๋ž˜์— ์ •๋ง์ด์ง€ ์ˆ˜ํ•™ ๊ณต๋ถ€์˜ ํ•„์š”์„ฑ์„ ๋Š๊ปด์„œ MML ์ด๋ผ๋Š” ๋จธ์‹ ๋Ÿฌ๋‹ ์ˆ˜ํ•™์˜ ๋ฐ”์ด๋ธ” ๊ฐ™์€ ์ฑ…์œผ๋กœ ๊ณต๋ถ€๋ฅผ ์‹œ์ž‘ํ–ˆ๋Š”๋ฐ... ์ผ๋‹จ ์˜์–ด๊ณ (!), ์šฉ์–ด๊ฐ€ ๋„ˆ๋ฌด ๋งŽ๊ณ (!), ๋‚ด์šฉ๋„ ์–ด๋ ค์›Œ์„œ ์•„์ฃผ ์• ๋ฅผ ๋จน๊ณ  ์žˆ๋‹ค. ์–ด์ฐŒ์ €์ฐŒ ์ดํ•ดํ–ˆ๋‹ค๊ณ  ์ƒ๊ฐํ–ˆ๋Š”๋ฐ ์—ฐ์Šต๋ฌธ์ œ๋ฅผ ๋ณด๋‹ˆ๊นŒ ๋˜ ์ด์•ผ~ ๋ชจ๋ฅด๊ฒ ๊ณ  ๋‚œ๋ฆฌ๋‹ค... ๋‹ต์•ˆ์ง€๋ฅผ ๋ด๋„ ์ดํ•ด๊ฐ€ ์–ด๋ ค์šด ๋ถ€๋ถ„์ด ๋งŽ์•„์„œ ๊ผผ๊ผผํ•˜๊ฒŒ ๊ฐ€์ด๋“œ ๋”ฐ๋ผ ๋‘์„ธ๋ฒˆ ํ’€์–ด๋ด์•ผ ์ดํ•ด๊ฐ€ ๋˜์ง€ ์‹ถ๋‹ค. ๊ทผ๋ฐ ๋„ˆ๋ฌด ์–ด๋ ต๋‹ค ใ…Žใ…‹... ์„ ํ˜•๋Œ€์ˆ˜ ๊ฐ•์˜๋ฅผ ์ˆ˜๊ฐ•ํ–ˆ์—ˆ๋Š”๋ฐ๋„ ๋‚ด๊ฐ€ ๋“ค์—ˆ๋˜ ์„ ํ˜•๋Œ€์ˆ˜ ๊ฐ•์˜์˜ ๋ฒ”์œ„๋ณด๋‹ค ๋” ๋„“์€ ๋“ฏ ํ•˜๋‹ค. ์•„๋ฌดํŠผ ์•„๋ž˜ ๋งํฌ๋Š” ์ฐธ๊ณ ํ•œ ์‚ฌ์ดํŠธ ๋“ฑ. ํ•œ๊ตญ์–ด ๋ฒˆ์—ญ ํ•ด์ฃผ์‹  ์ค€๋ณ„๋‹˜ ์ •๋ง ๊ฐ์‚ฌํ•ฉ๋‹ˆ๋‹ค... ๋น„๊ตํ•˜๋ฉฐ ๋ณด๊ณ  ์žˆ์Šต๋‹ˆ๋‹ค... ๊ต์žฌ - pdf ๋ฌด๋ฃŒ ๊ณต๊ฐœ(https://mml-book.github.io/book/mml-boo..

    [Data] ์ „๋™ ๋ชจํ„ฐ ์ด์ƒํƒ์ง€ ๋ฐ ๋ถ„๋ฅ˜๋ฅผ ์œ„ํ•œ ์ฃผํŒŒ์ˆ˜ ๋ถ„์„

    1. ๋ฐ์ดํ„ฐ ์ทจ๋“ Sampling rate 25.6kHz DC Motor, ์ž์ฒด ์ œ์ž‘ ์‹คํ—˜ํ™˜๊ฒฝ ๋ฐ์ดํ„ฐ ํŒŒ์ผ ๋‹น 102,400๊ฐœ ํฌ์ธํŠธ 2. FFT ๋ชจํ„ฐ ์ฃผํŒŒ์ˆ˜ ๋ถ„์„ 1. Normal ์ •์ƒ์ƒํƒœ ๋ชจํ„ฐ์˜ ์ฃผํŒŒ์ˆ˜๋Š” ์ง„๋™ ์ฐจ์ˆ˜(Harmonic)๊ฐ€ ๋ฐ˜๋น„๋ก€ํ•œ๋‹ค. ํ˜„์žฌ ์‹คํ—˜ ์„ธํŠธ์˜ ๋ชจํ„ฐ๋Š” ์•ฝ 3600rpm์„ ๊ฐ€์ง€๊ณ  ์žˆ์œผ๋ฏ€๋กœ ์ง„๋™์ฐจ์ˆ˜๋Š” 1์ฐจ 60Hz, 2์ฐจ 120Hz, 3์ฐจ 180Hz๋กœ ์ด๋ฃจ์–ด์ ธ ์žˆ๋‹ค. ์œ„ FFT ์ฃผํŒŒ์ˆ˜ ๋ถ„์„ ๊ฒฐ๊ณผ 1์ฐจ, 2์ฐจ, 3์ฐจ ์ง„๋™ ์ฐจ์ˆ˜ ์ˆœ์œผ๋กœ amplitude๊ฐ€ ๊ฐ์†Œํ•˜๋Š” ๊ฒƒ์„ ํ™•์ธํ•  ์ˆ˜ ์žˆ๋‹ค. 2. Misalignment ์˜ค์ •๋ ฌ(Misalignment) ์ƒํƒœ๋Š” Parallel Misalignment(์ง€๋ฉด๊ณผ ๋ชจํ„ฐ์˜ ์ถ•์€ ํ‰ํ–‰ํ•˜๋‚˜ ๋ฒ ์–ด๋ง์„ ๊ธฐ์ค€์œผ๋กœ ๋‹จ์ฐจ๊ฐ€ ์กด์žฌํ•  ๋–„)์™€ Angular Misalign..

    [PyTorch] pretrained model load/save, pretrained model ํŽธ์ง‘

    Load Pretrained model in pytorch Pretrained model pth๋กœ ์ €์žฅ๋œ torch pretrained model(weight)๋ฅผ ๋ถˆ๋Ÿฌ์™€์„œ ์‚ฌ์šฉ weight์˜ ์ผ๋ถ€๋งŒ ๋ถˆ๋Ÿฌ์™€์„œ ์‚ฌ์šฉํ•  ์ˆ˜ ์žˆ๋‹ค. pth = dictionary ๋กœ ๊ตฌ์„ฑ๋œ๋‹ค. Get format pth ํŒŒ์ผ์€ Dictionary ํ˜•ํƒœ๋กœ ์ €์žฅ๋˜์–ด ์žˆ๋‹ค. pytorch์˜ load๋ฅผ ํ†ตํ•ด์„œ ๋ถˆ๋Ÿฌ์˜ฌ ์ˆ˜ ์žˆ๋‹ค. import torch model = torch.load('model.pth') print(model.keys()) model.keys() ๋ฅผ ์‚ฌ์šฉํ•ด์„œ key ๊ฐ’๋“ค์„ ๋ถˆ๋Ÿฌ์˜ฌ ์ˆ˜ ์žˆ๋Š”๋ฐ, ์ด๊ฒƒ์œผ๋กœ ๋ชจ๋ธ ๊ตฌ์กฐ๋ฅผ ํŒŒ์•…ํ•  ์ˆ˜ ์žˆ๋‹ค. ํ˜„์žฌ ์˜ˆ์ œ๋กœ ์‚ฌ์šฉํ•˜๊ณ  ์žˆ๋Š” pth ํŒŒ์ผ์€ mobilenet-ssd-v1 ๋ชจ๋ธ์˜ mAP 0..