ライセンス持込みコンテナ

モデル・デプロイメントを使用するには、これらの必須インタフェースを作成または指定します。

• モデル・デプロイメントでは、OCIレジストリに存在するコンテナ・イメージのみがサポートされます。
• モデル・デプロイメントのライフサイクル全体を通して、コンテナ・イメージがOCIレジストリに存在することを確認します。インスタンスが自動的に再起動した場合、またはサービス・チームがパッチ適用を実行した場合の可用性を確保するには、イメージが存在する必要があります。
• BYOCではdockerコンテナのみがサポートされています。
• データ・サイエンスは、圧縮されたモデル・アーティファクトを使用してMLモデルのスコアリング・ロジックを持ち、データ・サイエンス・モデル・カタログで使用可能であると想定します。
• コンテナ・イメージのサイズは、非圧縮形式では16 GBに制限されています。
• データ・サイエンスは、コンテナを開始する前にHEALTHCHECKタスクを追加するため、HEALTHCHECKポリシーはオーバーライドされるため、Dockerファイルに明示的に追加する必要はありません。ヘルス・チェックは、コンテナの起動後10分後に実行が開始され、30秒ごとに/healthがチェックされます。タイムアウトは3秒で、チェックごとに3回再試行されます。
• Docker HEALTHCHECKポリシーが成功するには、curlパッケージがコンテナ・イメージにインストールされている必要があります。
• モデル・デプロイメント・リソースを作成するユーザーは、それを使用するには、OCIレジストリのコンテナ・イメージにアクセスできる必要があります。そうでない場合は、モデル・デプロイメントを作成する前にユーザー・アクセスのIAMポリシーを作成します。
• docker CMDまたはEntrypointは、WebサーバーをブートストラップするAPIまたはDockerfileを介して提供する必要があります。
• 実行するコンテナに対して定義されたサービス・タイムアウトは10分であるため、この時間枠内で推測サービス・コンテナが開始される(正常である)ことを確認してください。
• モデル・デプロイメントを使用してクラウドにデプロイする前に、常にコンテナをローカルでテストしてください。

Dockerレジストリ内のイメージは、リポジトリ、名前およびタグによって識別されます。さらに、Dockerでは、イメージの各バージョンに一意の英数字のダイジェストが付与されます。更新されたDockerイメージをプッシュする場合は、既存のタグを再利用するのではなく、更新されたイメージに識別するための新しいタグを指定することをお薦めします。ただし、更新されたイメージをプッシュし、それに以前のバージョンと同じ名前とタグを指定した場合でも、新しくプッシュされたバージョンは以前のバージョンとは異なるダイジェストを持ちます。

モデル・デプロイメント・リソースを作成する場合は、モデル・デプロイメントのベースとなるイメージの特定のバージョンの名前とタグを指定します。不整合を回避するために、モデル・デプロイメントでは、そのバージョンのイメージの一意のダイジェストが記録されます。モデル・デプロイメントの作成時にイメージのダイジェストを指定することもできます。

デフォルトでは、モデル・デプロイメントの基になるイメージの元のバージョンと同じ名前およびタグで、更新されたバージョンのイメージをDockerレジストリにプッシュすると、元のダイジェストを使用してイメージの元のバージョンを引き続き取得します。モデル・デプロイメントでイメージの新しいバージョンをプルする場合は、モデル・デプロイメントがプルするイメージのバージョンを識別するために使用するタグおよびダイジェストを使用してイメージ名を明示的に変更できます。

アーティファクトzipファイルを作成し、モデルとともにモデル・カタログに保存します。アーティファクトには、コンテナを操作して推論リクエストを実行するコードが含まれます。

コンテナは、推論サーバーのヘルスを返すために/healthエンドポイントを公開し、推論のために/predictエンドポイントを公開する必要があります。

モデル・アーティファクトの次のPythonファイルは、ポート5000のFlaskサーバーを使用してこれらのエンドポイントを定義します:

# We now need the json library so we can load and export json data
import json
import os
import numpy as np
from sklearn.discriminant_analysis import LinearDiscriminantAnalysis
from sklearn.neural_network import MLPClassifier
import pandas as pd
from joblib import load
from sklearn import preprocessing
import logging

from flask import Flask, request

# Set environnment variables
WORK_DIRECTORY = os.environ["WORK_DIRECTORY"]
TEST_DATA = os.path.join(WORK_DIRECTORY, "test.json")
MODEL_DIR = os.environ["MODEL_DIR"]
MODEL_FILE_LDA = os.environ["MODEL_FILE_LDA"]
MODEL_PATH_LDA = os.path.join(MODEL_DIR, MODEL_FILE_LDA)

# Loading LDA model
print("Loading model from: {}".format(MODEL_PATH_LDA))
inference_lda = load(MODEL_PATH_LDA)

# Creation of the Flask app
app = Flask(__name__)


# API 1
# Flask route so that we can serve HTTP traffic on that route
@app.route('/health')
# Get data from json and return the requested row defined by the variable Line
def health():
    # We can then find the data for the requested row and send it back as json
    return {"status": "success"}

# API 2
# Flask route so that we can serve HTTP traffic on that route
@app.route('/predict',methods=['POST'])
# Return prediction for both Neural Network and LDA inference model with the requested row as input
def prediction():
    data = pd.read_json(TEST_DATA)
    request_data = request.get_data()
    print(request_data)
    print(type(request_data))
    if isinstance(request_data, bytes):
        print("Data is of type bytes")
        request_data = request_data.decode("utf-8")
    print(request_data)
    line = json.loads(request_data)['line']
    data_test = data.transpose()
    X = data_test.drop(data_test.loc[:, 'Line':'# Letter'].columns, axis = 1)
    X_test = X.iloc[int(line),:].values.reshape(1, -1)

    clf_lda = load(MODEL_PATH_LDA)
    prediction_lda = clf_lda.predict(X_test)

    return {'prediction LDA': int(prediction_lda)}


if __name__ == "__main__":
    app.run(debug=True, host='0.0.0.0', port = 5000)

OCIコンテナ・レジストリの任意のイメージを使用できます。次に、Flaskサーバーを使用するサンプルのDockerfileを示します。

FROM jupyter/scipy-notebook
  
USER root
RUN \
  apt-get update && \
  apt-get -y install curl
  
ENV WORK_DIRECTORY=/opt/ds/model/deployed_model
ENV MODEL_DIR=$WORK_DIRECTORY/models
RUN mkdir -p $MODEL_DIR
  
ENV MODEL_FILE_LDA=clf_lda.joblib
  
COPY requirements.txt /opt/requirements.txt
RUN pip install -r /opt/requirements.txt

Dockerfileと同じディレクトリに、次のパッケージを含むrequirements.txtファイルを作成します。

flask
flask-restful
joblib

docker buildコマンドを実行します:

docker build -t ml_flask_app_demo:1.0.0 -f Dockerfile .

モデル・アーティファクトおよび推論コードがDockerfileと同じディレクトリにあることを確認してください。ローカル・マシンでコンテナを実行します。ローカル・モデル・ディレクトリを/opt/ds/model/deployed_modelにマウントして、ローカル・マシンに格納されているファイルを参照する必要があります。

docker run -p 5000:5000 \
  --health-cmd='curl -f http://localhost:5000/health || exit 1' \
  --health-interval=30s \
  --health-retries=3 \
  --health-timeout=3s \
  --health-start-period=1m \
  --mount type=bind,src=$(pwd),dst=/opt/ds/model/deployed_model \
  ml_flask_app_demo:1.0.0 python /opt/ds/model/deployed_model/api.py

10分で定義されたサービス内でコンテナが実行されていることを確認するヘルス・リクエストを送信します:

curl -vf http://localhost:5000/health

予測リクエストを送信してテストします:

curl -H "Content-type: application/json" -X  POST http://localhost:5000/predict --data '{"line" : "12"}'

Oracle Cloud Infrastructure Registry (コンテナ・レジストリとも呼ばれる)との間でイメージをプッシュおよびプルする前に、Oracle Cloud Infrastructure認可トークンが必要です。認証トークン文字列は作成時にのみ表示されるため、認証トークンをただちに安全な場所にコピーするようにしてください。

1. コンソールの右上隅で「プロファイル」メニューを開き、「ユーザー設定」をクリックして詳細を表示します。
2. 「認証トークン」ページで、「トークンの生成」をクリックします。
3. 認証トークンのわかりやすい説明を入力します。機密情報を入力しないでください。
4. 「トークンの生成」をクリックします。新しい認証トークンが表示されます。
5. 認証トークンをすぐに安全な場所にコピーし、後で取り出せるようにします。認証トークンはコンソールに再度表示されません。
6. 「トークンの生成」ダイアログを閉じます。
7. ローカル・マシンでターミナル・ウィンドウを開きます。
8. コンテナ・イメージを構築、実行、テスト、タグ付けおよびプッシュできるように、コンテナ・レジストリにサインインします。

   docker login -u '<tenant-namespace>/<username>' <region>.ocir.io

9. ローカル・コンテナ・イメージをタグ付けします:

   docker tag <local_image_name>:<local_version> <region>.ocir.io/<tenancy_ocir_namespace>/<repository>:<version>

10. コンテナ・イメージをプッシュします:

    docker push <region>.ocir.io/<tenancy>/byoc:1.0

    ノート
    
    

    イメージを格納したコンパートメントからOCIレジストリからイメージを読み取ることができるように、モデル・デプロイメント・リソースにリソース・プリンシパルのポリシーがあることを確認します。リソース・プリンシパルを使用したカスタム・コンテナへのモデル・デプロイメント・アクセスの付与

BYOC更新操作は、禁止マージ・タイプの部分更新です。

書込み可能な最上位レベル・フィールドは、リクエスト・コンテンツに定義されている場合には完全に置換する必要があり、それ以外の場合は変更されません。たとえば、次のようなリソースの場合:

{ 
    "environmentConfigurationDetails": {
        "environmentConfigurationType": "OCIR_CONTAINER",  
        "serverPort": 5454,
        "image": "iad.ocir.io/testtenancy/md_byoc_ref_iris_data:1.0.1",
        "imageDigest": "sha256:a9c8468cb671929aec7ad947b9dccd6fe8e6d77f7bcecfe2e10e1c935a88c2a5",
        "environmentVariables": {
            "a": "b",
            "c": "d",
            "e": "f"
        },
        "entrypoint": [ "python", "-m", "uvicorn", "a/model/server:app", "--port", "5000","--host","0.0.0.0"]
        "cmd": ["param1"]
}

次のような更新に成功しました。

{
    "environmentConfigurationDetails": {
        "serverPort": 2000, 
        "environmentVariables": {"x":"y"},
        "entrypoint": []
    }
}

serverPortおよびenvironmentVariablesが更新コンテンツによって上書きされる状態になります(更新コンテンツにないディープ・フィールドの以前に存在したデータの破棄を含む)。imageは更新コンテンツに表示されず、明示的な空のリストによってentrypointがクリアされるため、変更されません:

{ 
    "environmentConfigurationDetails": {
        "environmentConfigurationType": "OCIR_CONTAINER",  
        "serverPort": 2000,
        "image": "iad.ocir.io/testtenancy/md_byoc_ref_iris_data:1.0.1",
        "imageDigest": "sha256:a9c8468cb671929aec7ad947b9dccd6fe8e6d77f7bcecfe2e10e1c935a88c2a5",
        "environmentVariables": {"x": "y"},
        "entrypoint": []
        "cmd": ["param1"]
}

{ "environmentConfigurationDetails": null or {} }を使用した更新が成功すると、何も上書きされません。最上位レベルの完全な置換では、リクエスト・コンテンツに存在しないすべての値が消去されるため、これを回避します。更新オブジェクトのすべてのフィールドはオプションであるため、イメージを指定しない場合は、デプロイメントでイメージを設定解除しないでください。データ・サイエンスは、nullでない場合にのみ、第2レベルのフィールドで置換を実行します。

リクエスト・オブジェクトにフィールドを設定しない(nullを渡す)場合、データ・サイエンスでは、差異の検索および既存のフィールド値への置換のためにそのフィールドは考慮されません。

フィールドの値をリセットするには、空のオブジェクトを渡します。リストおよびマップ・タイプのフィールドの場合、データ・サイエンスでは、値を消去するインジケータとして空のリスト([])またはマップ({})を受け入れることができます。いずれの場合も、nullは値を消去することを意味しません。ただし、値はいつでも別の値に変更できます。デフォルトポートを使用し、そのフィールド値を設定解除するには、デフォルトポートを明示的に設定します。

リストおよびマップ・フィールドへの更新は完全な置換です。データ・サイエンスは、個々の値のオブジェクト内では見えません。

イメージおよびダイジェストの場合、データ・サイエンスでは値を消去できません。