docker容器下配置jupyter notebook的操作

Posted on by

docker容器下配置jupyter notebook，主要是為瞭編寫python代碼，更具體點是做深度學習的開發。

jupyter web形式最高效的使用方式就是部署在雲上，不管是cpu雲服務器還是gpu的雲服務器，都能快速啟動使用。

而docker的出現又方便瞭很多在部署使用上。

– 安裝 docker

docker分為docker CE和docker EE，一般使用docker CE（社區版本）。

docker可以在Linux（ubuntu、centos）、MacOS、Windows或者樹莓派上安裝。一般主要在linux下使用，我個人喜歡ubuntu系統。所以介紹在ubutnu下安裝docker。

首先移除本機上可能存在的舊版本：

$sudo apt-get remove docker docker-engine docker.io

安裝可選內核模塊

減少內核軟件包的安裝體積，從 Ubuntu 14.04 開始，一部分內核模塊移到瞭可選內核模塊包 (linux-image-extra-*)。正常安裝的系統應該會包含可選內核模塊包，而一些裁剪後的系統可能會將其精簡掉。AUFS 內核驅動屬於可選內核模塊的一部分，作為推薦的 Docker 存儲層驅動，一般建議安裝可選內核模塊包以使用 AUFS。

$sudo apt-get update
$ sudo apt-get install linux-image-extra-$(uname -r) linux-image-extra-virtual

ubuntu 16.04 以上的系統版本上的 docker CE 默認使用 overlay2 存儲層驅動,無需手動配置。

證書及密鑰準備

由於 apt 源使用 HTTPS 以確保軟件下載過程中不被篡改。因此，我們首先需要添加使用 HTTPS 傳輸的軟件包以及 CA 證書。

$ sudo apt-get update
$ sudo apt-get install apt-transport-https ca-certificates curl software-properties-common

鑒於國內網絡問題，強烈建議使用國內源，官方源請在註釋中查看。

$ curl -fsSL https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
# 官方源
# $ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

最後添加Docker軟件源：

$ sudo add-apt-repository \
  "deb [arch=amd64] https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu \
  $(lsb_release -cs) \
  stable"
# 官方源
# $ sudo add-apt-repository \
#  "deb [arch=amd64] https://download.docker.com/linux/ubuntu \
#  $(lsb_release -cs) \
#  stable"

以上命令會添加穩定版本的 Docker CE APT 鏡像源，如果需要測試或每日構建版本的 Docker CE 請將 stable 改為 test 或者 nightly。

安裝 Docker CE

$ sudo apt-get update
$ sudo apt-get install docker-ce

啟動 Docker CE

$ sudo systemctl enable docker
$ sudo systemctl start docker

Ubuntu 14.04 請使用以下命令啟動：

$ sudo service docker start

建立 docker 用戶組

出於安全考慮，一般 Linux 系統上不會直接使用 root 用戶。因此，更好地做法是將需要使用 docker 的用戶加入 docker 用戶組。

$ sudo groupadd docker
$ sudo usermod -aG docker $USER

測試 Docker 是否安裝正確

$ docker run hello-world

拉取hello-world鏡像進行測試，

Unable to find image 'hello-world:latest' locally
latest: Pulling from library/hello-world
d1725b59e92d: Pull complete
Digest: sha256:0add3ace90ecb4adbf7777e9aacf18357296e799f81cabc9fde470971e499788
Status: Downloaded newer image for hello-world:latest

Hello from Docker!
This message shows that your installation appears to be working correctly.

To generate this message, Docker took the following steps:
 1. The Docker client contacted the Docker daemon.
 2. The Docker daemon pulled the "hello-world" image from the Docker Hub.
  (amd64)
 3. The Docker daemon created a new container from that image which runs the
  executable that produces the output you are currently reading.
 4. The Docker daemon streamed that output to the Docker client, which sent it
  to your terminal.

To try something more ambitious, you can run an Ubuntu container with:
 $ docker run -it ubuntu bash

Share images, automate workflows, and more with a free Docker ID:
 https://hub.docker.com/

For more examples and ideas, visit:
 https://docs.docker.com/get-started/

若能正常輸出以上信息，則說明安裝成功。

鏡像加速器

國內從 Docker Hub 拉取鏡像有時會遇到困難，此時可以配置鏡像加速器。Docker 官方和國內很多雲服務商都提供瞭國內加速器服務如阿裡雲、七牛雲等。

ubuntu 14.04系統：

編輯 /etc/default/docker 在其中的 DOCKER_OPTS 中配置加速器地址：

DOCKER_OPTS="--registry-mirror=https://registry.docker-cn.com"

然後重新啟動服務：

$ sudo service docker restart

ubuntu 16.04+系統：

請在 /etc/docker/daemon.json 中寫入如下內容（如果文件不存在請新建該文件）:

{
 "registry-mirrors": [
  "https://registry.docker-cn.com"
 ]
}

之後重新啟動服務:

$ sudo systemctl daemon-reload
$ sudo systemctl restart docker

檢查加速器是否生效

命令行執行 docker info，如果從結果中看到瞭如下內容，說明配置成功。

Registry Mirrors:
 https://registry.docker-cn.com/

– 常見docker命令

首先在使用docker命令之前需要區分鏡像和容器的概念。建議參考連接

同一個鏡像啟動多個Docker容器，這些容器啟動後都是活動的，彼此還是相互隔離的，在某個容器上進行操作後想保留現有系統環境的下需要進行提交保存。

啟動命令：docker run

例如，下面的命令輸出一個 “Hello World”，之後終止容器。

$ docker run ubuntu:18.04 /bin/echo 'Hello world'
Hello world

這跟在本地直接執行 /bin/echo ‘hello world’ 幾乎感覺不出任何區別。

下面的命令則啟動一個 bash 終端，允許用戶進行交互。

$ docker run -it ubuntu:16.04 /bin/bash
root@af8bae53bdd3:/#

其中-i 則讓容器的標準輸入保持打開，-t 選項讓Docker分配一個偽終端（pseudo-tty）並綁定到容器的標準輸入。

容器的狀態主要有：

created：已經被創建 （使用 docker ps -a 命令可以列出）但是還沒有被啟動 （使用 docker ps 命令還無法列出）

running：運行中

paused：容器的進程被暫停瞭

restarting：容器的進程正在重啟過程中

exited：上圖中的 stopped 狀態，表示容器之前運行過但是現在處於停止狀態（要區別於 created 狀態，它是指一個新創出的尚未運行過的容器）。可以通過 start 命令使其重新進入 running 狀態

destroyed：容器被刪除瞭，再也不存在瞭

查看當前系統拉取的鏡像：

$docker images

查看當前系統下所有啟動(Up狀態)的容器

$docker container ls

或者

$docker ps

查看當前系統下所有容器

$ docker container ls -a

或者

$docker ps -a

終止某個容器：

$ docker container stop (id or name)

或者通過exit命令或 Ctrl+d 來退出終端，來停止容器。

進入容器：

$docker attach (id or name)

或者

$docker exec (id or name)

$docker attach從這個 stdin 中 exit，會導致容器的停止.

$docker exec從這個 stdin 中 exit，不會導致容器的停止.

推薦使用$docker exec

刪除容器：$docker container rm (id or name)

清理所有處於終止狀態的容器$ docker container prune

– 安裝jupyter

首先進入容器：

$docker run -i -t ubuntu:16.04 /bin/bash

這個過程基本和在ubuntu系統上安裝jupyter的過程是一樣的，但容器中的ubuntu是個最簡環境，沒有安裝python-dev包。

#更新apt-get環境
apt-get update

#安裝python dev包
apt-get install python-dev

#安裝jupyter
pip install jupyter

jupyter 默認隻能通過本地地址訪問，要放開配置，允許jupyter遠程訪問。在放開遠程訪問時，需要設置密碼，jupyter的配置文件隻支持加密後的密文密碼。

#生成jupyter配置文件，這個會生成配置文件.jupyter/jupyter_notebook_config.py
jupyter notebook --generate-config

#使用ipython生成密碼
In [1]: from notebook.auth import passwd
In [2]: passwd()
Enter password: 
Verify password: 
Out[2]: 'sha1:******'

#去配置文件.jupyter/jupyter_notebook_config.py中修改以下參數
c.NotebookApp.ip='*'             #綁定所有地址
c.NotebookApp.password = u'剛才生成的密碼'
c.NotebookApp.open_browser = False      #啟動後是否在瀏覽器中自動打開
c.NotebookApp.port =8888           #指定一個訪問端口，默認8888，註意和映射的docker端口對應

配置完成以後，就可以用 jupyter notebook命令把jupyter啟動起來瞭，如果在容器中直接使用的root用戶，啟動jupyter的命令為jupyter notebook –allow-root。

最終的命令為：

docker run -it --name jupytertest -p 8888:8888 -v ~/mnt:/mnt jupyter-ubuntu:v1 su root -c 'jupyter notebook --allow-root'

-p為端口映射，-v為路徑掛載映射。

啟動成功後使用http://ubuntu-ip:8888訪問。

補充：在docker上創建遠程jupyter

在遠程服務器上的docker容器內使用命令

jupyter notebook --port=8888 --allow-root

即可運行jupyter。

需要註意的一點是，如果當前docker容器的端口是8888的話，即可省略–port=8888，若當前docker容器的端口不是8888的話，需在運行jupyter的時候指定端口和當前docker容器的端口一致。

如果忘瞭當前docker容器的端口，可在docker外使用命令

docker ps

查看。

運行瞭jupyter之後，界面上會輸出一堆類似log的東西。如下：

保留當前界面，並且記錄其中的token（用紅線框出部分）。

運行之後在本地的瀏覽器輸入遠程服務器的ip：運行jupyter的docker容器的端口號。例如：192.168.0.101:8888。

登錄界面如下：

如果不想設置密碼的話，直接使用token登錄即可。

如果要設置密碼的話，使用token設置密碼也行。下次進入就可以直接使用密碼而不用token瞭。

以上為個人經驗，希望能給大傢一個參考，也希望大傢多多支持WalkonNet。如有錯誤或未考慮完全的地方，望不吝賜教。

推薦閱讀：