[Docker] Anaconda/Jupyter notebook을 dockerfile로 설치 + 커스텀 이미지 만들기

1. jupyter/datascience-notebook image 기반 CMD로 실행

CMD로 생성하는 과정

1. 도커 이미지 pull
2. $ docker pull jupyter/datascience-notebook image
3. 컨테이너 run
4. $ docker run \ -d \ -it \ -p 8000:8888 \ -e GRANT_SUDO=yes --name jupyter
5. 컨테이너 접속
6. $ docker exec -it jupyter bash
7. 비밀번호 생성
8. / ipython > from notebook.auth import passwd > passwd() # 비밀번호 입력 # 비밀번호 확인 # 암호화 비밀번호 출력 (복사해둘 것)
9. jupyter notebook 비밀번호 설정
10. / sudo vim ~/.jupyter/jupyter_notebook_config.py # in vim -> insert mode(i) c.NotebookApp.password_required=True **c.NotebookApp.password=**'{passwd로 생성한 암호화 비밀번호}' # esc -> :wq / exit
11. / sudo apt-get update / sudo apt-get install vim -y
12. 컨테이너 재실행
13. $ docker restart jupyter
14. hosting 한 서버 확인
15. [localhost:8800](http://localhost:8800) 으로 접속 → jupyter server on

2. ubuntu:18.04 image 기반 dockerfile로 이미지 생성

• 참고 블로그

Dockerfile로 주피터 서버 구축하기

처음에는 똑같이 dockerfile을 구성해서 실행해봤었는데, 내 환경에서 실행되지 않는 내용들이 있어서 틈틈히 수정하고 분석하면서 변경해보았다. 하나씩 뜯어보자.

FROM ubuntu:18.04

# setting basic directory
WORKDIR /home
RUN mkdir /soft
RUN mkdir /workspace
RUN apt-get update
RUN apt-get install -y net-tools wget nano lsof

# Anaconda installing
WORKDIR /home/soft
RUN wget https://repo.anaconda.com/archive/Anaconda3-2020.07-Linux-x86_64.sh
RUN bash Anaconda3-2020.07-Linux-x86_64.sh -b -p /home/soft/anaconda
RUN rm Anaconda3-2020.07-Linux-x86_64.sh
ENV PATH /home/soft/anaconda/bin:$PATH

WORKDIR /root/.jupyter
RUN jupyter notebook --generate-config

# jupyter server setting
RUN echo "c.NotebookApp.password = 'sha1:b00ee0c0e13c:9b3f0c11356d567b4b9c516af4aeae5df5a2f1e4'" >> /root/.jupyter/jupyter_notebook_config.py
RUN echo "c.NotebookApp.ip = '0.0.0.0'" >> /root/.jupyter/jupyter_notebook_config.py
RUN echo "c.NotebookApp.password_require=True" >> /root/.jupyter/jupyter_notebook_config.py110a0e6ab9fe
RUN echo "c.NotebookApp.allow_root = True" >> /root/.jupyter/jupyter_notebook_config.py
RUN echo "c.NotebookApp.open_browser = False" >> /root/.jupyter/jupyter_notebook_config.py

# set jupyter server excute location
WORKDIR '/home/soft'

기본 이미지

• ubuntu:18.04 image를 기반으로 생성했다.

기본 작업폴더 설정

# setting basic directory
WORKDIR /home
RUN mkdir /soft
RUN mkdir /workspace
RUN apt-get update
RUN apt-get install -y net-tools wget nano lsof

• ubuntu root 바로 아래에 home이라는 폴더를 만들어서 그 안에 작업 환경을 구성하도록 했다.
• ~/home/soft/workspace
• package 설치

anaconda 설치

# Anaconda installing
WORKDIR /home/soft
RUN wget https://repo.anaconda.com/archive/Anaconda3-2020.07-Linux-x86_64.sh
RUN bash Anaconda3-2020.07-Linux-x86_64.sh -b -p /home/soft/anaconda
RUN rm Anaconda3-2020.07-Linux-x86_64.sh
ENV PATH /home/soft/anaconda/bin:$PATH

• anaconda를 설치할 work directory를 새로 설정해줬다.
  • 이제 home/soft 아래에서 anaconda 명령어를 실행할 수 있다.
• anaconda image 설치는 블로그를 참고했다.

dockerfile을 이용한 anaconda 설치

[도커] Dockerfile로 conda 환경 및 라이브러리가 설치된 도커 생성하기

• anaconda bash file을 wget으로 다운로드하고, 특권을 설정한다.
  • RUN bash Anaconda3-2020.07-Linux-x86_64.sh -b -p /home/soft/anaconda
  • shell script 파일에 uid를 설정해서 사용할 수 있도록 해서 effective user id로 실행하도록 한다. 특권을 주는 셈(shell로 사용 가능하도록)
  • Shell Options
• shell파일 삭제
• 환경변수 설정
  • ENV PATH /home/soft/anaconda/bin:$PATH
• [docker] Dockerfile에서 PATH 환경 변수를 업데이트하는 방법은 무엇입니까?

Jupyter config 설정

WORKDIR /root/.jupyter
RUN jupyter notebook --generate-config

• config 파일 생성을 위해 work directory 를 .jupyter 폴더 아래로 설정하고 생성했다.

# jupyter server setting
RUN echo "c.NotebookApp.password = 'sha1:b00ee0c0e13c:9b3f0c11356d567b4b9c516af4aeae5df5a2f1e4'" >> /root/.jupyter/jupyter_notebook_config.py
RUN echo "c.NotebookApp.ip = '0.0.0.0'" >> /root/.jupyter/jupyter_notebook_config.py
RUN echo "c.NotebookApp.password_require=True" >> /root/.jupyter/jupyter_notebook_config.py110a0e6ab9fe
RUN echo "c.NotebookApp.allow_root = True" >> /root/.jupyter/jupyter_notebook_config.py
RUN echo "c.NotebookApp.open_browser = False" >> /root/.jupyter/jupyter_notebook_config.py

• 터미널을 사용해서 세팅할 때는 vim을 썼는데, dockerfile에서 vim을 쓸 수는 없으니까 echo + >>로 삽입해주는 방식을 취했다.
  • password 설정
    • password는 sha1로 암호화해서 만들었다. 지금은 1234다.커스텀해서 나온 걸로 대체해도 된다. 빌드는 물론 다시 해야함.
    • # generate security password from notebook.auth import passwd passwd(algorithm="sha1"
  • ip를 localhost로 설정
  • password require 설정
  • root 접근 설정

bash 실행 폴더 설정

• /root/.jupyter에서는 당연히 anaconda 명령어를 사용할 수 없기 때문에 이전에 만들어둔 /home/soft로 설정한다.
  • 처음에 안 바꿔줬다가 욕봤다.
  • [ jupyter 노트북 ] bad config encountered during initialization : no such notebook dir :
• # set jupyter server excute location WORKDIR '/home/soft'

Image build

$ docker buildx build --platform=linux/amd64 -t notebook:anaconda-jupyter .

• M1 Mac OS 에서 빌드한 이미지라 buildx와 옵션을 추가했다.
• cache 없으면 진짜 오래 걸린다(10분 걸림)
  • 정상이니까 쫄지 말자.

Run Container

$ docker run -d -it -p {host-port}:8888 --name jupyter-server mysterias/notebook:anaconda/jupyter

• 포트 번호는 jupyter notebook 내부에서 포트번호를 8888 쓰기 때문에 host만 커스텀하고 도커 컨테이너 쪽은 8888로 고정한다.

Access into container

$ docker exec -it jupyter-server bash

• 이제 bash로 접속해서 jupyter notebook 입력하면 서버가 켜진다. localhost:{own-port} 로 접근하자.
• default password는 1234이다.

Result

Docker hub에 전체 도커파일과 함께 업로드해두었다. pull해서 실행해볼 수 있다 :D

https://hub.docker.com/r/mysterias/notebook