
[On-Device AI] ๋ผ์ฆ๋ฒ ๋ฆฌํ์ด์์ Ollama๋ก llama3.2 ๋์์ํค๊ธฐ
ยท
๐ฌ ML & Data/โ Q & etc.
๊ฐค๋ญ์ S24 ์๋ฆฌ์ฆ ์ถ์ ์ดํ๋ก On-Device AI๊ฐ ๊ตญ๋ด์์ ์ธ๊ธ๋๋ ๊ฒ์ ์ฌ๋ฌ ๋ฒ ๋ดค๋๋ฐ, ์๊ฐ์ด ์ข ์์ด์ ๋ผ์ฆ๋ฒ ๋ฆฌํ์ด ์์์ ๊ฒฝ๋ ๋ชจ๋ธ์ธ llama ์ธ์ด๋ชจ๋ธ์ ๊ฐ๋จํ๊ฒ ์คํํด๋ณด์๋ค. Ollama๋ฅผ ์ฌ์ฉํ์๋๋ฐ, Nexa SDK๋ Samsung One, Optimum... ๋ญ ์ฌ๋ฌ ํด์ด ์๋ ๊ฒ ๊ฐ๋ค. ์ฐธ๊ณ ๋ฌธํ์์๋ raspberry pi 4์ ์ค๋ฒํด๋ฌํน ์์
์ ํ์ง๋ง, ์ ํ๊ณ ํ
์คํธ๋ฅผ ์ํํ๋ค.์ค๋ฒํด๋ฌํน์ ํ๊ณ ์ ํ๋ฉด raspberry pi 4์ ๋ฐฉ์ดํ๊ณผ ํฌ์ ๋ถ์ฐฉํด์ผํ๋ค.Swap ๋ฉ๋ชจ๋ฆฌ ํ์ฅ์ค์ ๋ฉ๋ชจ๋ฆฌ๋ฅผ ๋๋ ค์ application ๊ฐ ์ถฉ๋์ ๋ฐฉ์งํ๋ค. sudo fallocate -l 10G /swapfile # swap ๋ฉ๋ชจ๋ฆฌ 10G ํ ๋นsudo chmod 600 /swapfile..