Win10無痛安裝Tensorflow-gpu(同時安裝tf2.1, tf1.13, tf1.9三版本共存)、CUDA、DNN與Pycharm

2020 年 7 月 29 日

誰適合看這篇:

剛踏入AI deep learning Tensorflow的新手
每次安裝都到了深坑又遇不可抗拒原因再重新安裝的老手

安裝環境是邁入玩AI的第一步，Python的安裝是容易的，但Tensorflow(文章後都以tf簡稱)相對麻煩，不同的tf版本會依賴不同的Python, cuDNN, CUDA版本，亦會影響到GPU driver version的選擇，不小心就會入坑爬不出來@@

Overview一下安裝的流程

Nvidia GPU, Tensorflow與Python的關係如下圖，Pycharm為開發工具，提供友善的程式撰寫環境，Python為主要使用的程式語言，透過Tensorflow的AI框架(或是想成函式庫)進行深度學習，而Tensorflow會與 GPU溝通，將大量的運學運算丟給GPU，而GPU擁有數百個到數千個核心的優勢，在同一時間進行大量的運算，套件CUDA Toolkit與cuDNN就是來協助、加速這工程，讓模型完成數值的最佳化

目前tf僅支援Nvidia GPU，AMD GPU的支援依然不好，若有預算上的考量，可以考慮購買2手的GPU，可以看我的分析影片

安裝時會從接近硬體的開始安裝，順序會是GPU driver→CUDA Toolkit→cuDNN→Python→Tensorflow。這次安裝跟以往安裝有個最大差異，以往會統一安裝1組CUDA toolkit與1組CUDNN的版本，根據這樣的組合再去安裝Tensorflow，我把這樣的安裝稱為"全域式"的安裝；這次安裝會藉由Anaconda open source套件，Anaconda的好處是可以建立不同的環境，安裝不同版本的Tensorflow與相容的合的CUDA Toolkit、CUDNN，這種"區域式"的安裝可以因應與不同團隊合作下使用不同python, Tensorflow版本的需求。

GPU的能力(compute capability)

安裝不同的tf版本將需要不同的計算能力，依照官網說明如下:

Tensorflow-gpu < 2.0, CUDA compute Capability 3.0
Tensorflow-gpu >=2.0, CUDA compute Capability 3.5

下圖列出一部分GPU的能力，若沒有看到你的GPU請至Nvidia官網查看；若你是使用筆電，GPU跟我一樣是MX150或是MX系列的，在表中找不到，在Nvidia網站的其他地方也不好找到，只有在他們的討論區有看到提問，我猜想可能是產品線跟網站建置的差異，但有趣的是在wikipedia是找的到喔!

安裝GPU的驅動程式

先根據下表1想安裝的tf版本找到對應的CUDA 版本，下表2從CUDA版本對應到你的GPU驅動程式應該要安裝什麼版本。舉例來說，我想安裝tf2.1版本時，CUDA toolkit為10.1，而下表2中CUDA toolkit 10.1對應到Windows的driver 版本要418.96以上，那我的GPU驅動就要安裝或升級至418.96版以上。

到以下網站填入你的GPU型號、系統規格並按下搜尋

出現了451.67版，該版>418.96，OK，可以下載進行安裝

如果你出自於某種需求不想更新到最新，可以至以下網站搜尋所有的驅動程式版本，按下Start search，會出現很多版本任君挑選，只要大於上述的規格即可

安裝Anaconda

剛有提到本次不安裝"全域式"的CUDA toolkit及CUDNN，而是會透過Anaconda來安裝。Anaconda的好處在於可以建立多個虛擬環境，在不同環境下可以安裝不同版本的Python、不同版本的Tensorflow，更貼心的是在安裝Tensorflow的同時，會依據版本來安裝對應的CUDA toolkit and cuDNN，相當佛心。

請至官網根據自己的系統下載安裝程式

新的anaconda預設是安裝Python3.8，回到表「Tensorflow版本與CUDA toolkit對應關係」可看到僅能安裝tf2.2，也就是預設的環境就只能使用此版本，其他的版本就建立虛擬環境進行安裝即可。

安裝過程不闡述，安裝時建議選擇將anaconda加入環境變數，若不選擇，在命令提示字元中無法直接使用conda指令，需開啟anaconda prompt中才能執行conda相關指令。

安裝Tensorflow(GPU版本)

開啟命令提示字元

我們要做的事情如下圖所示，建立不同的環境並安裝指定的套件

目前是在預設的環境下，由於python=3.8，anaconda目前還沒有對應的tensorflow-gpu=2.2的版本，建議先不要安裝。

建立新的虛擬環境(new env 1)

我們先建立第1個新環境，如上圖的new env 1，輸入指令conda create --name new_env_1 python=3.6

輸入y進行安裝

接著，進入該虛擬環境，輸入指令activate new_env_1，當進入環境時，最前面會有(new_env_1)，表示目前你正在此環境裡

確認python version及其他已經安裝的套件，輸入指令conda list

安裝tensorflow1.13版本，輸入指令conda install tensorflow-gpu=1.13

確認Tensorflow, CUDA toolkit, cudnn版本，輸入指令conda list

測試安裝是否成功

一樣在命令提示字元下

輸入python

輸入from tensorflow.python.client import device_lib

輸入print(device_lib.list_local_devices())

此時會看到是否有列出GPU的資訊(如下圖所示)，若有表示安裝成功

測試完後，按Ctrl + z離開python coding環境(有時會忘了，然後就打甚麼指令都是錯誤的@@)

離開環境new_env_1，輸入指令deactivate，準備繼續建構下一個虛擬環境

建立新的虛擬環境(new env 2)

建立第2個新環境，輸入指令conda create --name new_env_2 python=3.7

輸入y進行安裝

進入該虛擬環境，輸入指令activate new_env_2

安裝tensorflow2.1版本，輸入指令conda install tensorflow-gpu=2.1

確認Tensorflow, CUDA toolkit, cudnn版本，輸入指令conda list

測試是否安裝成功，方式如第一個虛擬環境的測試方法，測試結果如下

測試完後，按Ctrl + z離開python coding環境

離開環境new_env_2，輸入指令deactivate

建立新的虛擬環境(new env 3)

最後要建立第3個虛擬環境(new_env_3)，作法與上述一樣，細節就不闡述，僅貼出結果，如下圖所示.

安裝Pycharm

Pycharm有結合Anaconda的版本，直接在Google輸入pycharm for anaconda

但這個版本是professional version，需要付費或是試用30天，不是我們要的

Google pycharm直接到官網，直接按Download

選擇other versions

選擇windows with Anaconda plugin(exe)，下載並安裝，安裝過程總是”下一步”，不闡述

安裝成功後，開啟pycharm，按下create new project

1.輸入想要儲存此專案的資料夾與名稱

2.選擇existing interpreter，就是要選擇我們剛剛安裝的環境

3.但預設不是我們要的，因此點下圖中的第三步驟進行選擇

選擇你要的環境，這裡選擇new_env_2為例，按下ok

按下create，專案便開始創建

那……平常要更換環境怎麼做呢?

請前往File →settings → Project→Project interpreter，如下圖所示，就可以清楚看到目前的環境名稱以及所有套件名稱與版本

如果Project interpreter的選單裡沒有你剛剛創建的環境，請按最底下的Show All

按下’+’，選擇Existing environment，在interpreter的下拉式選單選擇虛擬環境，我們選擇new_env_3，按下ok

此時，Interpreter就有new_env_3的環境了

若要選擇new_env_1也是一樣的做法，就不再闡述

程式驗證

新建python的檔案，在test資料夾處(下圖紅框處)按下滑鼠右鍵，建立新的.py file

測試程式來源:tensorflow官網教學的Basic Image classification，濃縮後的程式如下，請直接複製貼上

from __future__ import absolute_import, division, print_function, unicode_literals

# TensorFlow and tf.kerasimport tensorflow as tffrom tensorflow import keras

# Helper librariesimport numpy as np# import matplotlib.pyplot as plt

print(tf.__version__)

fashion_mnist = keras.datasets.fashion_mnist

(train_images, train_labels), (test_images, test_labels) = fashion_mnist.load_data()

train_images = train_images / 255.0

test_images = test_images / 255.0

model = keras.Sequential([ keras.layers.Flatten(input_shape=(28, 28)), keras.layers.Dense(128, activation='relu'), keras.layers.Dense(10, activation='softmax')])

model.compile(optimizer='adam', loss='sparse_categorical_crossentropy', metrics=['accuracy'])

model.fit(train_images, train_labels, epochs=10)

test_loss, test_acc = model.evaluate(test_images, test_labels, verbose=2)

print('\nTest accuracy:', test_acc)

執行程式時，console會出現如下的畫面