モデル・デプロイメント

AIクイック・アクションを使用してモデルをデプロイするには、次のステップに従います。

モデル・デプロイメントの作成

モデル・デプロイメントは、モデル・エクスプローラで「デプロイ準備完了」タグを使用するか、微調整されたモデルを使用して、基盤モデルから作成できます。AIクイック・アクションでモデル・デプロイメントを作成する場合、OCI データ・サイエンス モデル・デプロイメントを作成します。これは、OCI データ・サイエンス・サービスの管理対象リソースです。モデルをHTTPエンドポイントとしてOCIにデプロイできます。

データ・サイエンス・モデル・デプロイメントを使用するには、必要なポリシーが必要です。モデル・デプロイメントの計算シェイプを選択できます。ロギングを設定して、モデル・デプロイメントを監視できます。ロギングはオプションですが、モデル・デプロイメントのエラーのトラブルシューティングに役立つことを強くお薦めします。ログを有効にするには、必要なポリシーが必要です。ログの詳細は、モデル・デプロイメント・ログを参照してください。詳細オプションでは、デプロイするインスタンスの数およびLoad Balancer帯域幅を選択できます。

モデルのデプロイの詳細およびヒントは、GitHubのモデル・デプロイメントを参照してください。

    1. モデル・エクスプローラにナビゲートします。
    2. デプロイするモデルのモデル・カードをクリックします。
    3. 「デプロイ」をクリックして、モデルをデプロイします。
      モデルのデプロイ・ページが表示されます。
      1. デプロイメントに名前を付けます。
      2. オプション: ログ・グループを選択します。
      3. オプション: 予測およびアクセス・ログを選択します。
      4. コンピュート・シェイプを選択します。
      5. 「拡張オプションの表示」をクリックします。
      6. インスタンス数を更新し、Load Balancer帯域幅を更新します。
      7. 「デプロイ」をクリックします
    4. 「AIクイック処理」で、「デプロイメント」をクリックします。
      モデル・デプロイメントのリストが表示されます。ステップ3で作成したデプロイメントでは、「ライフサイクルの状態」「アクティブ」になるのを待ってから、それをクリックして使用します。
    5. スクロールして「推論ウィンドウ」を表示します。
    6. 「プロンプト」にテキストを入力してモデルをテストします。
    7. (オプション)必要に応じてモデル・パラメータを調整します。
    8. 「生成」をクリックします。
      「レスポンス」に出力が表示されます。
  • AIクイック・アクションCLIコマンドのパラメータおよび値の完全なリストは、AIクイック・アクションCLIを参照してください

  • このタスクはAPIを使用して実行できません。

AIクイック・アクションでのモデル・デプロイメントの起動

CLIまたはPython SDKからAIクイック・アクションでモデル・デプロイメントを起動できます。

詳細は、GitHubのモデル・デプロイメントのヒントの項を参照してください。