[On-Device AI] 라즈베리파이에서 Ollama로 llama3.2 동작시키기

출처: sk 하이닉스

갤럭시 S24 시리즈 출시 이후로 On-Device AI가 국내에서 언급되는 것을 여러 번 봤는데, 시간이 좀 있어서 라즈베리파이 위에서 경량 모델인 llama 언어모델을 간단하게 실험해보았다. Ollama를 사용하였는데, Nexa SDK나 Samsung One, Optimum... 뭐 여러 툴이 있는 것 같다. 

• 참고문헌에서는 raspberry pi 4에 오버클러킹 작업을 했지만, 안 하고 테스트를 수행했다.
• 오버클러킹을 하고자 하면 raspberry pi 4에 방열판과 팬을 부착해야한다.

Swap 메모리 확장

• 스왑 메모리를 늘려서 application 간 충돌을 방지한다. 

  sudo fallocate -l 10G /swapfile    # swap 메모리 10G 할당
  sudo chmod 600 /swapfile           # root 권한 설정
  sudo mkswap /swapfile              # 생성
  sudo swapon /swapfile              # 활성화

• sudo swap --show # swap 파티션과 메모리 확인 sudo swapoff -a # swap 메모리 비활성화 sudo rm /swapfile # swap file 삭제

Ollama 설치

• Ollama가 port 11434를 사용하므로 포트를 미리 열어 인바운드 연결을 허용함

  # ufw 사용 방법
  sudo ufw allow 11434/tcp 
  # 대체 - iptables
  sudo iptables -I INPUT 1 -p tcp --dport 11434 -j ACCEPT
  sudo iptables -nL    # 확인

• 설치

  curl -fsSL https://ollama.com/install.sh | sh

• raspberry pi 에는 기본적으로 gpu가 탑재되어 있지 않으므로 cpu-only mode로 실행된다.
• ollama serve 명령어를 사용해서 시작할 수 있는데, 기본적으로는 서비스로 동작한다. serve했을 때 포트 바인드되어 있다고 말하면 systemctl status ollama 로 상태를 확인해보자. 이미 실행 중일 수 있다.

모델 다운로드

• llama3.2:1b : 10억 개 파라미터, 1.3G

  ollama pull llama3.2:1b

• llama3.2:3b : 30억 개 파라미터, 2G

  ollama pull llama3.2:3b

  모델 사용

  ollama run llama3.2:3b
  >> ...

후기

• 아무래도 raspberry pi 의 빈약한 cpu만으로 실행하기 때문에 몹시 느리지만, 그래도 예상보다 훨씬 괜찮았다. 1b 모델보다는 3b 모델이 확실히 상황에 따른 정확한 대답을 내놓는 것을 확인할 수 있었다.
  • ex) 랜덤한 sf 영화 하나를 3~4개 시퀀스로 요약해줘.
    • llama3.2:1b - 3~4개의 sf 영화를 각각 1개 시퀀스로 요약
    • llama3.2:3b - 1개의 sf 영화를 4개 시퀀스로 요약
• 한국어는 지원이 안된다고 봐야한다.

그래라

• 예상 외로 결과가 좋았다. 벤치마크로 봤을 때는 크게 기대하지 않았는데 속도만 조금 더 빨라진다면 유용하게 쓸 수 있을 것 같다. 기회가 된다면 다른 on-device ai 모델을 활용한 프로젝트를 진행해봐도 좋을 것 같다.

참고 문헌
https://aleksandarhaber.com/how-to-install-and-run-llama-3-2-1b-and-3b-large-language-models-llms-on-raspberry-pi-4-and-linux-ubuntu/

How to install and Run Llama 3.2 1B and 3B Large Language Models (LLMs) on Raspberry Pi 4 and Linux Ubuntu – Fusion of Enginee