๐ฌ ML & Data
[ML/DL] nms(None-maximum-suppression) - hard nms / soft nms
nms(None-maximum-suppression) Soft-NMS -- Improving Object Detection With One Line of Code Theory ์์ธก๋ bounding box์ confidence๊ฐ ์๊ณ์น(threshold) ์ด์์ด๋ฉด ์ฐธ์ผ๋ก ์ฒ๋ฆฌํ๊ฒ ๋๋ค. ๊ทธ๋ ๊ฒ ๋๋ฉด ํ๋์ Object์ ๋ํด ์ฌ๋ฌ ๊ฐ์ Bounding box๊ฐ ๊ฒน์ณ์ ์์ฑ๋ ์ ์๋ค. → ํ ๊ฐ์ฒด์ ๋ํด ๊ฐ์ฅ ์ ๋ขฐ๋๊ฐ ๋์ ํ๋์ bounding box๋ง ๋จ๊ธฐ๊ณ ๋๋จธ์ง๋ฅผ ์ญ์ ํ๋ post processing ์๊ณ ๋ฆฌ์ฆ์ ์ผ์ข = nms non-maximum suppression bounding box ์งํฉ์์ class score์ด ๊ฐ์ฅ ๋์ ๊ฒ๋ถํฐ ๋ค๋ฅธ ์งํฉ์ผ๋ก ์ฎ๊ธฐ๊ณ ์๋ณธ bounding box ์งํฉ์..
[Evaluate Performance] mAP(mean Average Precision)
SSD, Faster R-CNN์์ ์ฌ์ฉํ๋ ๋ํ์ ์ธ ์ฑ๋ฅํ๊ฐ์งํ์ธ mAP(mean Average Precision)์ ๋ํด ๊ณต๋ถํ ๋ด์ฉ์ ์ ๋ฆฌํด๋ดค์ต๋๋ค. ์ฐจ๋ง ๋ค์ ๊ธ๋ก ์ ์ ์์ ์ด ์์ด์ ํ๊ธฐ ์ฌ์ง์ผ๋ก ๋์ฒดํฉ๋๋คใ ใ mAP ๊ตฌํ์ COCO Eval API์ Cartucho๋์ mAP ๊ตฌํ repository๋ฅผ ์ฐธ๊ณ ํ์ฌ COCO format์์๋ COCO Eval์, VOC๋ฐ์ดํฐ๋ Cartucho mAP๋ฅผ ์ฌ์ฉํด์ ๋ง๋ค์์ต๋๋ค. annotation format๋ง ๋ง์ถฐ์ฃผ๋ฉด ๋๊ธฐ ๋๋ฌธ์ ์์ ํด์ ์ ์ฉ์ํค๋๋ฐ ์ด๋ ค์ด ๊ฒ์ ์์ ๊ฒ ๊ฐ์ต๋๋ค. ์ด ๊ธ์ ๋ณด๊ณ ์๋ํ์๋ค๊ฐ ์ด๋ ค์ด ์ ์ด ์์ผ์๋ฉด ๋๊ธ๋ก ๋จ๊ฒจ์ฃผ์ธ์. GitHub - cocodataset/cocoapi: COCO API - Dataset @ http:..
[PyTorch] pretrained model load/save, pretrained model ํธ์ง
Load Pretrained model in pytorch Pretrained model pth๋ก ์ ์ฅ๋ torch pretrained model(weight)๋ฅผ ๋ถ๋ฌ์์ ์ฌ์ฉ weight์ ์ผ๋ถ๋ง ๋ถ๋ฌ์์ ์ฌ์ฉํ ์ ์๋ค. pth = dictionary ๋ก ๊ตฌ์ฑ๋๋ค. Get format pth ํ์ผ์ Dictionary ํํ๋ก ์ ์ฅ๋์ด ์๋ค. pytorch์ load๋ฅผ ํตํด์ ๋ถ๋ฌ์ฌ ์ ์๋ค. import torch model = torch.load('model.pth') print(model.keys()) model.keys() ๋ฅผ ์ฌ์ฉํด์ key ๊ฐ๋ค์ ๋ถ๋ฌ์ฌ ์ ์๋๋ฐ, ์ด๊ฒ์ผ๋ก ๋ชจ๋ธ ๊ตฌ์กฐ๋ฅผ ํ์ ํ ์ ์๋ค. ํ์ฌ ์์ ๋ก ์ฌ์ฉํ๊ณ ์๋ pth ํ์ผ์ mobilenet-ssd-v1 ๋ชจ๋ธ์ mAP 0..
[๋ผ์ดํธ ๋จธ์ ๋ฌ๋] Session 19. ์์๋ธ์ ์ ์์ ๋ค์๊ฒฐ ํฌํ!
๋ณธ์ ์๋๊ฒ ์ค๋๋ง์ ๋ผ์ดํธ ๋จธ์ ๋ฌ๋ ๊ธ์ ์ฌ๋ฆฌ๊ฒ ๋์๋ค์! ์ด๋ฒ ์ธ์ ์์๋ ์ ๋ฒ์ ์๊ณ ํ๋ค์ถ์ด ์์๋ธ ํ์ต์ ๋ํด์ ์์๋ณด๋ ค๊ณ ํ๋๋ฐ์, ์ฌ๋ฌ๋ถ์ ์์๋ธํ๋ฉด ๋ฌด์์ด ๋ ์ค๋ฅด์๋์? ์์งํ ์ ๋ ์์ ์ด ๊ฐ์ฅ ๋จผ์ ๋ ์ฌ๋๋๋ฐ์, ์ฌ์ค ๋น์ทํ ๊ฐ๋ ์ด๊ธฐ๋ ํฉ๋๋ค. ์ด๋ฒ ์ธ์ ์์๋ ์ฌ๋ฌ ๊ฐ ๋ถ๋ฅ๊ธฐ๋ฅผ ํฉ์ณ ์ข์ ์ฑ๋ฅ์ ๋ด๋ ์์๋ธ ํ์ต์ ์ ์์ ์ข ๋ฅ ์ค ํ๋์ธ ๋ค์๊ฒฐ ํฌํ์ ๋ํด์ ์์๋ณด๋๋ก ํ๊ฒ ์ต๋๋ค! A. ์์๋ธ ํ์ต ์์๋ธ ํ์ต(ensemble learning)์ ์ฌ๋ฌ ๊ฐ์ ๋ถ๋ฅ๊ธฐ๋ฅผ ํ๋์ ๋ฉํ ๋ถ๋ฅ๊ธฐ๋ก ์ฐ๊ฒฐํด์ ๋ ์ข์ ์ฑ๋ฅ์ ์ด๋์ด๋ด๋ ๊ธฐ๋ฒ์ ๋๋ค. ์์๋ธ ํ์ต์ ์ํ ๋ถ๋ฅ๊ธฐ๋ฅผ ๋ง๋ค๊ธฐ ์ํ ๋ฐฉ๋ฒ์ ์ฌ๋ฌ๊ฐ์ง๊ฐ ์์ต๋๋ค. ์ผ๋จ ๋จผ์ , ์์๋ธ์ ์๋ ์๋ฆฌ์ ์ ๋ ์ฑ๋ฅ์ด ์ข์์ง์ ๋ํด์ ์์๋ณด๋๋ก ํ๊ฒ ์ต๋๋ค. ๋จผ..
[๋ผ์ดํธ ๋จธ์ ๋ฌ๋] Session 18. ROC ๊ณก์ ๊ณผ ๋ถ๊ท ํ ๋ฐ์ดํฐ ๊ท ํ ๋ง์ถ๊ธฐ!
A. ์ฌ๋ฌ๊ฐ์ง ์ฑ๋ฅ ํ๊ฐ ์งํ 1. ์ค์ฐจ ํ๋ ฌ ์ค์ฐจํ๋ ฌ(confusion matrix)์ ํ์ต ์๊ณ ๋ฆฌ์ฆ์ ์ฑ๋ฅ์ ํ๋ ฌ๋ก ํผ์ณ๋ ๊ฒ์ ๋๋ค. ์๋ ๊ทธ๋ฆผ๊ณผ ๊ฐ์ด ์ง์ง ์์ฑ(True Positive, TP), ์ง์ง ์์ฑ(True Negative, TV), ๊ฐ์ง ์์ฑ(False Positive, FP), ๊ฐ์ง ์์ฑ(False Negative, FN)์ ๊ฐ์๋ฅผ ์ ์ ์ ๋ฐฉ ํ๋ ฌ์ด์ฃ . ์ด ํ๋ ฌ์ ๋ง๋ค ๋ ๋ฌผ๋ก ์ง์ ์ธ์ด์ ๊ณ์ฐํ ์๋ ์์ง๋ง ์ฌ์ดํท๋ฐ์ ํจ์ confusion_matrix ๋ฅผ ์ฌ์ฉํ ์๋ ์์ต๋๋ค. from sklearn.metrics import confusion_matrix pipe_svc.fit(X_train, y_train) y_pred = pipe_svc.predict(X_test) confma..
[๋ผ์ดํธ ๋จธ์ ๋ฌ๋] Session 17. ํ์ต๊ณผ ๊ฒ์ฆ ๊ณก์ , ๊ทธ๋ฆฌ๊ณ ๊ทธ๋ฆฌ๋ ์์น
์ด๋ฒ ์ธ์ ์์๋ ๋ ๊ฐ์ง ๊ณก์ ์ ์ด์ฉํด ์๊ณ ๋ฆฌ์ฆ์ ๋๋ฒ๊น ํ์ฌ ๋ณด๋ค ๋์ ๋ชจ๋ธ์ ๋ง๋๋ ๋ฐฉ๋ฒ ํ๋์, ๊ทธ๋ฆฌ๋ ์์น๋ฅผ ์ด์ฉํด ํ์ดํผํ๋ผ๋ฏธํฐ๋ฅผ ํ๋ํ๋ ๋ฐฉ๋ฒ ๋ ๊ฐ์ง๋ฅผ ์ดํด๋ณด๋๋ก ํ๊ฒ ์ต๋๋ค. ์ง๋ ์ธ์ ๊ณผ ์ด๋์ ๋ ์ด์ด์ง๋ ์ฃผ์ ์ด๋, 16์ ๋ณด๊ณ ์ค์ ๋ ์ข์ต๋๋ค! A. ํ์ต ๊ณก์ ๊ณผ ๊ฒ์ฆ ๊ณก์ ์ ์ฌ์ฉํ ์๊ณ ๋ฆฌ์ฆ ๋๋ฒ๊น 1. ํ์ต ๊ณก์ ์ผ๋ก ํธํฅ๊ณผ ๋ถ์ฐ ๋ฌธ์ ๋ถ์ ํ์ต ๊ณก์ , ์ฆ ๊ทธ๋ํ๋ฅผ ์ด์ฉํ๋ฉด ๋ชจ๋ธ์ ํ๋ จ ์ ํ๋์ ๊ฒ์ฆ ์ ํ๋๋ฅผ ๋ชจ๋ธ์ ๋์ ๋ถ์ฐ์ ๋ฌธ์ ๊ฐ ์๋์ง, ํธํฅ์ ๋ฌธ์ ๊ฐ ์๋์ง๋ฅผ ์ฝ๊ฒ ํ์ธํ๊ณ ๊ณ ์น ์ ์์ต๋๋ค. ๋ฐ์ดํฐ๋ฅผ ๋ ๋ชจ์ผ๋ ๊ฒ์ ์ฌ์ค ๋ถ๊ฐ๋ฅํ ๊ฒฝ์ฐ๊ฐ ๊ฝค ์๊ธฐ ๋๋ฌธ์, ๊ผญ ๋ฐ์ดํฐ๋ฅผ ๋ ๋ชจ์์ผํ๋์ง๋ฅผ ํ๋จํ ์ ์๊ฒ ํด์ฃผ์ฃ . ์ผ์ชฝ ์ ๊ทธ๋ํ๋ ํธํฅ์ด ๋์ ๋ชจ๋ธ์ ๋๋ค. ์ด ๋ชจ๋ธ์ ํ๋ จ๊ณผ ๊ต์ฐจ๊ฒ์ฆ์ ์ ํ..
[๋ผ์ดํธ ๋จธ์ ๋ฌ๋] Session 16. ํ์ดํ๋ผ์ธ์ผ๋ก ๋ฌถ๊ณ , ๊ต์ฐจ ๊ฒ์ฆ์ผ๋ก ๋ชจ๋ธ์ ํ๊ฐํ์!
์ด์ ์ธ์ ๋ค์์ ํ ์คํธ ์ธํธ์ฒ๋ผ ์๋ก์ด ๋ฐ์ดํฐ์ ์ค์ผ์ผ์ ์กฐ์ ํ๊ณ ์์ถํ๊ธฐ ์ํด ํ๋ จ ์ธํธ์์ ์ฌ์ฉํ ํ๋ผ๋ฏธํฐ๋ฅผ ์ฌ์ฌ์ฉํด์ผํ๋ค๊ณ ์ด์ผ๊ธฐํ์๋๋ฐ์, ์กฐ๊ธ ๋ ์ฌ์ด ๋จธ์ ๋ฌ๋์ ์ํด ์ด๋ฒ ์ธ์ ์์ ์ฌ์ดํท๋ฐ์ Pipeline ํด๋์ค๋ฅผ ๋ฐฐ์๋ณด๋๋ก ํ๊ฒ ์ต๋๋ค. ๊ทธ๋ฆฌ๊ณ ๋ชจ๋ธ์ ๊ฒ์ฆํ๊ธฐ ์ํด ๋๋ฆฌ ์ฐ์ด๊ณ ์๋ k-๊ฒน ๊ต์ฐจ๊ฒ์ฆ ๋ฐฉ๋ฒ์ ๋ํด์๋ ์์๋ณด๊ฒ ์ต๋๋ค. A. ํ์ดํ๋ผ์ธ์ ์ฌ์ฉํ ํจ์จ์ ์ธ ์ํฌํ๋ก ๋ง๋ค๊ธฐ 1. ์์ค์ฝ์ ์ ๋ฐฉ์ ๋ฐ์ดํฐ์ ์์ค์ฝ์ ๋ฐ์ดํฐ์ ์ ์ ์ฑ๊ณผ ์์ฑ์ธ ์ข ์ ์ํ 569๊ฐ๊ฐ ํฌํจ๋์ด ์์ต๋๋ค. ์์์ ๋ ์ด์ ์ํ์ ID์ ์ง๋จ๊ฒฐ๊ณผ๊ฐ ๋ค์ด์๊ณ , 3~32๋ฒ์งธ๊น์ง์ ์ด์๋ ์ธํฌ ํต์ ์ด๋ฏธ์ง์์ ๊ณ์ฐ๋ 30๊ฐ ์ค์ ๊ฐ ํน์ฑ์ด ๋ค์ด์์ต๋๋ค. ์ผ๋จ ๋ฐ์ดํฐ๋ฅผ ๋ฐ์์ค๋๋ก ํ ๊น์? ์ด ๋ฐ์ดํฐ์ ์ ๋ํ ๋ด์ฉ์ ๋งํฌ์์..
[๋ผ์ดํธ ๋จธ์ ๋ฌ๋] Session 15. ์ปค๋ PCA๋ฅผ ์ด์ฉํ ๋น์ ํ ๋งคํ
C. ์ปค๋ PCA๋ฅผ ์ฌ์ฉํ ๋น์ ํ ๋งคํ์ฌํ๊น์ง ๋ง์ ๋จธ์ ๋ฌ๋ ์๊ณ ๋ฆฌ์ฆ์ ์ ๋ ฅ ๋ฐ์ดํฐ๊ฐ ์ ํ์ ์ผ๋ก ๊ตฌ๋ถ์ด ๊ฐ๋ฅํ๋ค๋ ๊ฐ์ ์ ํฉ๋๋ค. ๋ค๋ฅธ ์๊ณ ๋ฆฌ์ฆ๋ค-์๋ฌ๋ฆฐ, ๋ก์ง์คํฑ ํ๊ท, SVM-์ ์ ํ์ ์ผ๋ก ์๋ฒฝํ๊ฒ ๋ถ๋ฆฌ๋์ง ์๋ ์ด์ ๋ฅผ ์ก์๋๋ฌธ์ด๋ผ๊ณ ์ด์ผ๊ธฐํฉ๋๋ค.์ค์ ์์๋ ๋ ์์ฃผ ๋น์ ํ ๋ฌธ์ ๋ค์ ๋ง๋ฅ๋จ๋ฆฝ๋๋ค. ์ด ๊ฒฝ์ฐ์ ํญ์ PCA๋ LDA์ ๊ฐ์ ์ฐจ์ ์ถ์ ๊ธฐ๋ฒ์ด ์ต์ ์ด๋ผ๊ณ ๋ ๋งํ ์ ์๊ฒ ์ฃ . ์ด์ ๋ถํฐ ์์๋ณผ ๊ฒ์ PCA์ ์ปค๋ํ ๋ฒ์ ์ธ KPCA์ ๋๋ค. 1. ์ปค๋ ํจ์์ ์ปค๋ ํธ๋ฆญ์์ ์ธ์ ์์ ์ปค๋ SVM์ ๋ํด ์ด์ผ๊ธฐํ ๊ฒ์ ๋ ์ฌ๋ ค๋ณด๋ฉด, ๋น์ ํ ๋ฌธ์ ๋ฅผ ํ๊ธฐ ์ํด ๊ณ ์ฐจ์ ๊ณต๊ฐ์ผ๋ก ๋ฐ์ดํฐ๋ฅผ ํฌ์ํด ํ์์ต๋๋ค. k ๊ณ ์ฐจ์ ๋ถ๋ถ ๊ณต๊ฐ์ ์๋ ์ํ์ ๋ณํํ๊ธฐ ์ํด ๋น์ ํ ๋งคํ ํจ์๋ฅผ ์ ์ํฉ๋๋ค. ์ด ํจ์๋ฅผ d์ฐจ์ ๋ณด๋ค..
[๋ผ์ดํธ ๋จธ์ ๋ฌ๋] Session 14. LDA๋ฅผ ํตํ ์ง๋ํ์ต๋ฐฉ์ ๋ฐ์ดํฐ ์์ถ
์ ํ ํ๋ณ ๋ถ์(Linear Discriminant Analysis)์ ๊ท์ ๊ฐ ์๋ ๋ชจ๋ธ์์ ์ค๋ฒํผํ ์ ๋๋ฅผ ์ค์ด๊ณ ๊ณ์ฐ ํจ์จ์ ์ ๋์ด๊ธฐ ์ํด ์ฌ์ฉ๋๋ ํน์ฑ์ถ์ถ ๊ธฐ๋ฒ์ ๋๋ค. LDA์ ๊ฐ๋ ์ PCA์ ์๋นํ ์ ์ฌํฉ๋๋ค. PCA๊ฐ ๋ฐ์ดํฐ์ ์ ๋ถ์ฐ์ด ์ต๋์ธ ์ฑ๋ถ์ถ์ ์ฐพ๋ ๊ฒ์ด ๋ชฉํ๋ผ๋ฉด LDA๋ ํด๋์ค๋ฅผ ์ต์ ์ผ๋ก ๊ตฌ๋ถํ ์ ์๋ ํน์ฑ ๋ถ๋ถ ๊ณต๊ฐ์ ์ฐพ๋ ๊ฒ์ ๋๋ค. 1. ์ฃผ์ฑ๋ถ ๋ถ์ vs ์ ํ ํ๋ณ ๋ถ์ PCA์ LDA ๋ชจ๋ ๋ฐ์ดํฐ์ ์ ์ฐจ์ ๊ฐ์๋ฅผ ์ค์ด๋ ์ ํ ๋ณํ ๊ธฐ๋ฒ์ด์ง๋ง PCA๋ ๋น์ง๋, LDA๋ ์ง๋ํ์ต์ด๋ผ๋ ์ ์์ ๋ค๋ฆ ๋๋ค. ์ฌ๊ธฐ์ ์ฌ๋ฌ๋ถ์ LDA๊ฐ ํด๋์ค ๊ตฌ๋ถ์ ์ํด ํน์ฑ ๋ถ๋ถ ๊ณต๊ฐ์ ์ฐพ๋ ๊ฒ์ด๊ธฐ ๋๋ฌธ์ ๋ ๋ถ๋ฅ์ ๋ฐ์ด๋๋ค๊ณ ์๊ฐํ์ค ์ ์๋๋ฐ์, ์ฌ์ค์ ๊ทธ๋ ์ง๋ ์์ต๋๋ค. ๋ง๋ฅดํฐ๋ค์ค๋ PCA๋ฅผ ํตํ ์ ..
[๋ผ์ดํธ ๋จธ์ ๋ฌ๋] Session 13. ๋น์ง๋ ์ฐจ์์ถ์! PCA!
์ด๋ฒ ์ธ์ ์ ๋ค์ด๊ฐ๊ธฐ ์ ์, ์ ๋ ๋ํต ์ด ์ฑ ์ผ๋ก ์ดํด๊ฐ ์๋์ ๋ฐ๋ก ๊ฐ์๋ฅผ ๋ค์ด์ PCA์ ๋ํ ๊ฐ๋ ์ ์ก์์์ผ๋ ๊ฐ๋จํ๊ฒ ๋จผ์ ์ค๋ช ์ ๋๋ฆฌ๊ณ ๋ค์ด๊ฐ๋๋ก ํ๊ฒ ์ต๋๋ค. ๋ถ๋ ์ด ์งง์ ์ค๋ช ์ด ์ฌ๋ฌ๋ถ์ด ์ดํดํ์๋๋ฐ ๋์์ด ๋๊ธธ ๋ฐ๋๋๋ค:) PCA๋ ์ ๋ ฅ ๋ฐ์ดํฐ์ ๊ตฌ์กฐ๋ ์ต๋ํ ๋ณด์กดํ๋ฉด์ ์ฐจ์์ ๊ฐ์์ํค๋ ๊ธฐ๋ฒ์ ๋๋ค. ์ด๋, ๋ฐ์ดํฐ์ ๋ถ์ฐ์ด ๋ฐ์ดํฐ์ ๊ตฌ์กฐ๋ผ๊ณ ํ ์ ์์ต๋๋ค. ์ด ๋ฐ์ดํฐ์ ๋ถ์ฐ์ ์ต๋ํ์ผ๋ก ์ ์งํ๋ ์ ์ฐจ์ ๋ฒกํฐ์ ์ฌ์์ ์ํค๋ ๋ฐฉ์์ด์ฃ . ์๋ฅผ ๋ค์ด, 2์ฐจ์์์ 1์ฐจ์์ผ๋ก ์ฐจ์์ ์ถ์์ํจ๋ค๊ณ ์๊ฐํด๋ด ์๋ค. ์ฐ๋ฆฌ๋ ์ผ๋จ ํ๊ท ์ 0์ผ๋ก ๋ง์ถ ๋ฐ์ดํฐ๊ฐ ํ์ํ๊ณ , ์ด ๋ฐ์ดํฐ๋ฅผ ๊ณต๋ถ์ฐ ํ๋ ฌ๋ก ๋ง๋ค์ด์ค๋๋ค. ๊ทธ๋ฆฌ๊ณ ์ด ๊ณต๋ถ์ฐ ํ๋ ฌ์ ๊ณ ์ ๋ฒกํฐ๋ฅผ ๊ธฐ์ค์ผ๋ก PCA๋ฅผ ์คํํ์ฃ . ์ด๋ ๊ฒ ๋๋ฉด ์ฐ๋ฆฌ๋ ๋ ๊ณต๋ถ์ฐ ํ๋ ฌ..