• 了解如何使用 Kubermatic Kubernetes 平臺來部署、擴展與管理圖像識別預測的深度學習模型。

隨著企業增加了對人工智能(AI)、機器學習(ML)與深度學習(DL)的使用，出現了一個關鍵問題：如何將機器學習的開發進行規?；c產業化?這些討論經常聚焦于機器學習模型本身；然而，模型僅僅只是完整解決方案的其中一環。為了達到生產環境的應用和規模，模型的開發過程必須還包括一個可以說明開發前后關鍵活動以及可公用部署的可重復過程。

本文演示了如何使用 Kubermatic Kubernetes 平臺對圖像識別預測的深度學習模型進行部署、擴展與管理。

[[421057]]

Kubermatic Kubernetes 平臺是一個生產級的開源 Kubernetes 集群管理工具，提供靈活性和自動化，與機器學習/深度學習工作流程整合，具有完整的集群生命周期管理。

開始

這個例子部署了一個用于圖像識別的深度學習模型。它使用了 CIFAR-10 數據集，包含了 60,000 張分屬 10 個類別的 32x32 彩色圖，同時使用了 Apache MXNet 的 Gluon 與 NVIDIA GPU 進行加速計算。如果你希望使用 CIFAR-10 數據集的預訓練模型，可以查閱其 入門指南。

使用訓練集中的樣本對模型訓練 200 次，只要訓練誤差保持緩慢減少，就可以保證模型不會過擬合。下方圖展示了訓練的過程： 

深度學習模型訓練 loss 圖 

訓練結束后，必須保存模型訓練所得到的參數，以便稍后可以加載它們：

file_name = "net.params" 
net.save_parameters(file_name) 

一旦你的模型訓練好了，就可以用 Flask 服務器來封裝它。下方的程序演示了如何接收請求中的一張圖片作為參數，并在響應中返回模型的預測結果：

from gluoncv.model_zoo import get_model 
import matplotlib.pyplot as plt 
from mxnet import gluon, nd, image 
from mxnet.gluon.data.vision import transforms 
from gluoncv import utils 
from PIL import Image 
import io 
import flask 
app = flask.Flask(__name__) 
@app.route("/predict",methods=["POST"]) 
def predict(): 
    if flask.request.method == "POST": 
        if flask.request.files.get("img"): 
           img = Image.open(io.BytesIO(flask.request.files["img"].read())) 
            transform_fn = transforms.Compose([ 
            transforms.Resize(32), 
            transforms.CenterCrop(32), 
            transforms.ToTensor(), 
            transforms.Normalize([0.4914, 0.4822, 0.4465], [0.2023, 0.1994, 0.2010])]) 
            img = transform_fn(nd.array(img)) 
            net = get_model('cifar_resnet20_v1', classes=10) 
            net.load_parameters('net.params') 
            pred = net(img.expand_dims(axis=0)) 
            class_names = ['airplane', 'automobile', 'bird', 'cat', 'deer', 
                       'dog', 'frog', 'horse', 'ship', 'truck'] 
            ind = nd.argmax(pred, axis=1).astype('int') 
            prediction = 'The input picture is classified as [%s], with probability %.3f.'% 
                         (class_names[ind.asscalar()], nd.softmax(pred)[0][ind].asscalar()) 
    return prediction 
if __name__ == '__main__': 
   app.run(host='0.0.0.0') 

容器化模型

在將模型部署到 Kubernetes 前，你需要先安裝 Docker 并使用你的模型創建一個鏡像。

下載、安裝并啟動 Docker：

sudo yum install -y yum-utils device-mapper-persistent-data lvm2 
sudo yum-config-manager --add-repo <https://download.docker.com/linux/centos/docker-ce.repo> 
sudo yum install docker-ce 
sudo systemctl start docker 

創建一個你用來管理代碼與依賴的文件夾：

mkdir kubermatic-dl 
cd kubermatic-dl 

創建 requirements.txt 文件管理代碼運行時需要的所有依賴：

flask 
gluoncv 
matplotlib 
mxnet 
requests 
Pillow 

創建 Dockerfile，Docker 將根據這個文件創建鏡像：

FROM python:3.6 
WORKDIR /app 
COPY requirements.txt /app 
RUN pip install -r ./requirements.txt 
COPY app.py /app 
CMD ["python", "app.py"] 

這個 Dockerfile 主要可以分為三個部分。首先，Docker 會下載 Python 的基礎鏡像。然后，Docker 會使用 Python 的包管理工具 pip 安裝 requirements.txt 記錄的包。最后，Docker 會通過執行 python app.py 來運行你的腳本。

構建 Docker 容器：

sudo docker build -t kubermatic-dl:latest . 

這條命令使用 kubermatic-dl 鏡像為你當前工作目錄的代碼創建了一個容器。

使用

sudo docker run -d -p 5000:5000 kubermatic-dl 

命令檢查你的容器可以在你的主機上正常運行。

使用

sudo docker ps -a 

命令查看你本地容器的運行狀態：

查看容器的運行狀態 

將你的模型上傳到 Docker Hub

在向 Kubernetes 上部署模型前，你的鏡像首先需要是公開可用的。你可以通過將你的模型上傳到 Docker Hub 來將它公開。(如果你沒有 Docker Hub 的賬號，你需要先創建一個)

在終端中登錄 Docker Hub 賬號：

sudo docker login 

給你的鏡像打上標簽，這樣你的模型上傳到 Docker Hub 后也能擁有版本信息：

sudo docker tag <your-image-id> <your-docker-hub-name>/<your-app-name> 
sudo docker push <your-docker-hub-name>/<your-app-name> 

給鏡像打上 tag 

使用

sudo docker images 

命令檢查你的鏡像的 ID。

部署你的模型到 Kubernetes 集群

首先在 Kubermatic Kubernetes 平臺創建一個項目, 然后根據 快速開始 創建一個 Kubernetes 集群。

創建一個 Kubernetes 集群 

下載用于訪問你的集群的 kubeconfig，將它放置在下載目錄中，并記得設置合適的環境變量，使得你的環境能找到它：

Kubernetes 集群示例

使用 kubectl 命令檢查集群信息，例如，需要檢查 kube-system 是否在你的集群正常啟動了就可以使用命令 kubectl cluster-info。 

查看集群信息 

為了在集群中運行容器，你需要創建一個部署用的配置文件(deployment.yaml)，再運行 apply 命令將其應用于集群中：

apiVersion: apps/v1 
kind: Deployment 
metadata: 
  name: kubermatic-dl-deployment 
spec: 
  selector: 
    matchLabels: 
      app: kubermatic-dl 
  replicas: 3 
  template: 
    metadata: 
      labels: 
        app: kubermatic-dl 
    spec: 
     containers: 
     - name: kubermatic-dl 
       image: kubermatic00/kubermatic-dl:latest 
       imagePullPolicy: Always 
       ports: 
       - containerPort: 8080 

kubectl apply -f deployment.yaml` 

為了將你的部署開放到公網環境，你需要一個能夠給你的容器創建外部可達 IP 地址的服務：

kubectl expose deployment kubermatic-dl-deployment --type=LoadBalancer --port 80 --target-port 5000` 

就快大功告成了!首先檢查你布署的服務的狀態，然后通過 IP 請求的你圖像識別 API：

kubectl get service 

 

獲取請求圖像識別 API 的 IP 地址 

最后根據你的外部 IP 使用以下兩張圖片對你的圖像識別服務進行測試： 

[[421059]]

馬 

[[421060]]

狗

測試 API 

總結

在這篇教程中，你可以創建一個深度學習模型，并且使用 Flask 提供 REST API 服務。它介紹了如何將應用放在 Docker 容器中，如何將這個鏡像上傳到 Docker Hub 中，以及如何使用 Kubernetes 部署你的服務。只需幾個簡單的命令，你就可以使用 Kubermatic Kubernetes 平臺部署該應用程序，并且開放服務給別人使用。