[Linux/CUDA] Ubuntu 24.04 LTS에 CUDA 및 Tensorflow GPU 설치하기

기존에 쓰던 서버의 Ubuntu가 23.10으로 설정되어 있어서 24.04 LTS로 버전업하는 김에 그래픽 드라이버도 새로 설치하고, CUDA와 cudnn도 싹 새로 설치해서 개발환경을 만들기로 결정했다.

과정은 다소 지난했으나 결론은 간단하므로 빠르게 정리해보겠다.

1. Ubuntu 24.04 LTS 설치

Ubuntu 23.10은 지원이 24년 7월 경부터 중단되었으므로 LTS 버전으로 업그레이드가 필요하다. 방법은 아래와 같다.

먼저 시스템 업데이트를 진행한다. 

$ sudo apt update
$ sudo apt upgrade
$ sudo apt dist-upgrade

다음으로는 업데이트 매니저를 설치한다. 이를 통해서 우분투 버전 업그레이드가 가능하다. 참고로 다운그레이드는 지원하지 않으니 업그레이드 전에 충분히 주의를 기울이자.

$ sudo apt install update-manager-core

실행 후에 /etc/update-manager/release-upgrades를 열어 Prompt=lts가 있는지 확인해야한다. 엉뚱한 버전이 설치되지 않도록 주의해야한다.

# Default behavior for the release upgrader.

[DEFAULT]
# Default prompting and upgrade behavior, valid options:
#
#  never  - Never check for, or allow upgrading to, a new release.
#  normal - Check to see if a new release is available.  If more than one new
#           release is found, the release upgrader will attempt to upgrade to
#           the supported release that immediately succeeds the
#           currently-running release.
#  lts    - Check to see if a new LTS release is available.  The upgrader
#           will attempt to upgrade to the first LTS release available after
#           the currently-running one.  Note that if this option is used and
#           the currently-running release is not itself an LTS release the
#           upgrader will assume prompt was meant to be normal.
Prompt=lts

이제 업그레이드를 실행한다.

$ sudo do-release-upgrade

만일 시스템이 거의 비어있거나 깨끗한 상태로 시작했다면 대체로 y를 누르면서 여러 선택지들을 넘기면 된다. 그게 아니라면 중간에 뜨는 확인 혹은 선택 문구를 꼼꼼히 읽어볼 것을 권장한다. 기존 설정을 유지하거나 새로 쓰는 등의 선택이 필요하다.

마지막으로 시스템을 한 번 재부팅한 뒤에 릴리즈를 확인해보면, 

$ sudo reboot
...
$ lsb_release -a

lsb release를 정보에 ubuntu 24.04가 뜨면 업데이트는 완료된다. 제법 시간이 오래 걸린다.

 

2. Nvidia Graphic Driver 설치

먼저 기존에 설치된 그래픽 드라이버가 있는지 확인한다. 

$ nvidia-smi

위 명령어를 쳤을때 nvidia 없어요! 하고 말하면 바로 진행하면 된다. 아니라면 설치 삭제해주고 다시 설치할 것이다.

$ sudo apt remove nvidia*
$ sudo apt autoremove
$ sudo apt clean

위 명령어들을 하나씩 치면 설치 삭제된다. 다만... 이전에 이미 nvidia 드라이버로 무언가를 했다면 지우기 전에 신중하자.

$ ubuntu-drivers devices

위와 같이 입력하면 설치가능한 기기에 따라 드라이버 목록이 나온다. 지금 서버의 그래픽카드가 RTX 3090이라 그에 맞는 드라이버 목록이 아래와 같이 뜬다.

이 중에 nvidia-driver-550 이 recommended라고 되어있다. 이걸 apt를 이용해서 설치한다.

$ sudo apt install nvidia-driver-550

그리고 시스템을 재부팅해주면 된다. 다시 nvidia-smi를 입력해보면,

$ nvidia-smi

정상적으로 출력되는 것이 보인다. 상단에 driver 버전이, 우측 상단에는 권장 CUDA 버전이 나와있다.

 

3. CUDA 및 cudnn 설치

Ubuntu 24.04 LTS 버전을 지원하는 CUDA 버전은 공식적으로 12.6 이상이다. 그러나 Tensorflow gpu 지원을 보자.

https://www.tensorflow.org/install/source?hl=ko

소스에서 빌드  |  TensorFlow

가장 최신 버전도 CUDA 12.3을 지원한다. (윈도우의 경우 11.8 이후로 지원이 중단되었다) 때문에 원활한 텐서플로우 경험을 위해서 CUDA 12.3을 설치해야한다. 

그런데 nvidia cuda 아카이브에서 다운로드 하려고 보면, https://developer.nvidia.com/cuda-12-3-0-download-archive

CUDA Toolkit 12.3 Downloads

당연히 24.04 버전은 없다! 이것 때문에 반나절 정도 골머리를 썩혔다... 그런데 들어보니 22.04 버전도 잘만 설치하면 호환이 된다는 얘기를 주워들었다. 따라서 22.04 버전으로 설치를 해서 테스트까지 해봤고, 잘 됐다. 

$ wget https://developer.download.nvidia.com/compute/cuda/12.3.0/local_installers/cuda_12.3.0_545.23.06_linux.run
$ sudo sh cuda_12.3.0_545.23.06_linux.run

run file로 다운로드를 받고 실행한다. 이게 화면이 바뀌도록 되어 있는데... 좀 오래 걸리니까 인내심을 갖고 기다리자. 막 누르면 종료된다. 

먼저 여기에 accept를 치고 엔터를 누른다. 

그럼 위와 같은 화면이 나오는데, 우리는 드라이버를 이미 수동 설치했으므로 저 Driver에서 엔터를 쳐서 선택 해제를 해주고 install을 하면 된다.

CUDA는 /usr/local/cuda-12.3 경로에 설치되어 있다. ls 명령어로 확인할 수 있다.

$ ls -l /usr/local

설치가 완료되면 path 설정을 해주어야한다. .bashrc 파일 마지막에 path를 추가해줄 것이다.

$ sudo nano ~/.bashrc

...
export PATH=/usr/local/cuda-12.3/bin${PATH:+:${PATH}}
export LD_LIBRARY_PATH=/usr/local/cuda-12.3/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}

위 두 줄을 가장 하단에 추가해주고, Ctrl+O, Ctrl+X 를 눌러 빠져나온다. 변경사항 적용은 아래와 같다.

$ sourch ~/.barhrc

다음으로 라이브러리 경로를 추가해준다.

$ sudo nano /etc/ld.so.conf

위 파일을 열어 cuda의 lib 폴더를 추가해주면 된다.

include /etc/ld.so.conf.d/*conf

/usr/local/cuda-12.3/lib64

그리고 변경사항을 적용해주고, PATH가 잘 반영되었는지 확인해보자.

$ sudo ldconfig

$ echo $PATH
> /usr/local/cuda-12.3/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin

$ echo $LD_LIBRARY_PATH
> /usr/local/cuda-12.3/lib64

위와 같이 나오면 CUDA 설치는 완료된다. 확인을 해보자!

$ nvcc -V

이렇게 cuda 버전이 잘 나오면 정상적으로 설치가 완료된 것이다.

 

4. cudnn 설치

다시 이 표를 보면, CUDA 12.3에 대해서는 cuDNN 8.9가 필요하다고 되어있다. 

https://developer.nvidia.com/rdp/cudnn-archive

cuDNN Archive

가장 최신 버전인 8.9.7로 다운로드 받았다. Local Installer for Linux x86_64 (Tar) 로 다운로드 하면 된다. nvidia 로그인이 필요해서, ubuntu server를 쓰고 있는 나는 윈도우에서 파일을 받고 ssh로 접속한 서버에 scp 명령어로 전송해서 사용했다. 

# local에서 실행, ssh 통해서 파일 전송
scp ~/downloads/cudnn-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz username@ip_address:~/nvidia/cuda-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz

이 경우 전송할 서버의 ip 주소, 계정 이름을 알아야한다. 각설하고... 다운로드한 압축파일을 압축 해제한다.

$ tar -xvf cuda-linux-x86_64-8.9.7.29_cuda12-archive.tar.xz

이때 오류가 발생한다면 높은 확률로 다운로드가 덜 되어서 그렇다. 파일의 크기가 800MB를 넘는지 확인해보고, 아니라면 다시 다운로드한다. 

이제 cuda에 cudnn 파일들을 넣어주면 된다. 

$ cd cuda-linux-x86_64-8.9.7.29_cuda12-archive
$ sudo cp ./include/cudnn*.h /usr/local/cuda-12.3/include
$ sudo cp ./lib/libcudnn* /usr/local/cuda-12.3/lib64
$ sudo chmod a+r /usr/local/cuda-12.3/include/cudnn*.h /usr/local/cuda-12.3/lib64/libcudnn*

여기까지 하고, cudnn이 잘 작동하는지 확인해보자.

#include <cudnn.h>
#include <stdio.h>

int main() {
    cudnnHandle_t handle;
    cudnnStatus_t status = cudnnCreate(&handle);
    if (status == CUDNN_STATUS_SUCCESS) {
        printf("cuDNN successfully initialized.\n");
    } else {
        printf("cuDNN initialization failed.\n");
    }
    cudnnDestroy(handle);
    return 0;
}

새 c 파일을 만들고 컴파일한 뒤에 실행해본다.

$ gcc -o cudnn_test cudnn_test.c -I/usr/local/cuda-12.3/include -L/usr/local/cuda-12.3/lib64 -lcudnn
$ ./cudnn_test
> cuDNN successfully initialized.

위와 같이 출력되면 잘 끝난 것이다!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!

 

5. Tensorflow 설치

대장정의 마지막. 이건 쉽다. 파이썬 정책?변?경으로 인해서 전역 환경 패키지 설치가 느슨하게 막혀있는 상태라, 가상환경을 이용해줄 것이다. 현재 나의 파이썬 버전은 3.12이다.

만일 파이썬 가상환경 패키지가 깔려있지 않다면 설치하면 된다.

$ sudo apt install python3.12-venv

그리고 폴더 하나를 만들고 거기에 가상환경을 설정한다.

$ mkdir tensorflow
$ cd tensorflow
$ python3 -m venv .tf

요렇게 하면 tensorflow 폴더 하위에 .tf라는 가상환경이 생긴다. 활성화와 비활성화는 이렇게 할 수 있다.

# 활성화
$ . ./tf/bin/activate

# 비활성화
$ deactivate

가상환경을 활성화한 뒤에 tensorflow를 설치한다.

$ python3 -m pip install tensorflow[and-cuda]

설치가 성공적으로 완료되면 tensorflow가 gpu를 잘 인식하는지 확인한다.

$ python3
>> import tensorflow as tf
>> print(tf.config.list_physical_devices("GPU"))

[PhysicalDevice(name='/physical_device:GPU:0', device_type='GPU')]

이런 출력이 나오면 Ubuntu 24.04 LTS에서 tensorflow gpu 설치가 끝났다!!!!!!!!!

 

 

참고문헌

https://infotechys.com/upgrade-ubuntu-23-10-to-24-04/

https://pstudio411.tistory.com/entry/Ubuntu-2004-Nvidia%EB%93%9C%EB%9D%BC%EC%9D%B4%EB%B2%84-%EC%84%A4%EC%B9%98%ED%95%98%EA%B8%B0

https://velog.io/@scuderia/%EB%A6%AC%EB%88%85%EC%8A%A4-24.04-cuda-cudnn-%EC%84%A4%EC%B9%98#cuda-%EC%84%A4%EC%B9%98