評価

AIクイック・アクションによるモデル・パフォーマンスの評価

デプロイ済モデルでは、モデル評価を作成してそのパフォーマンスを評価できます。オブジェクト・ストレージからデータセットを選択するか、作業中のノートブックのストレージからデータセットをアップロードできます。ノートブックからデータセットをアップロードするには、まず、ノートブック・セッションがオブジェクト・ストレージにファイルを書き込むようにするポリシーを設定する必要があります。モデル評価に実験名でラベルを付けることができます。既存の実験から選択するか、または新規の実験を作成できます。BERTScoreおよびROUGEは、モデル・パフォーマンスの測定に使用できる評価メトリックです。モデル評価結果をオブジェクト・ストレージに保存できます。モデル評価パラメータを設定できます。詳細オプションの下で、評価のコンピュート・インスタンス・シェイプを選択し、オプションで停止シーケンスを入力できます。また、モデル評価を使用してロギングを設定してモニターできます。ロギングはオプションですが、評価のエラーのトラブルシューティングに役立つようにすることをお薦めします。ロギングを有効にするには、必要なポリシーが必要です。ロギングの詳細は、「ログ」の項を参照してください。評価を作成する前に、評価の構成およびパラメータを確認できます。

「評価」タブに戻ると、モデルの評価が完了すると、評価ライフサイクル状態がSucceededになります。評価結果を表示し、モデル評価レポートのコピーをローカル・マシンにダウンロードできます。

評価の詳細およびヒントは、GitHubの「評価」を参照してください。

    1. 「AIクイック処理」で、「評価」をクリックします。
      「評価」ページが表示されます。
    2. 「評価の作成」をクリックします。
    3. 評価の名前を入力します。
    4. モデル・デプロイメント名を選択します。
    5. (オプション)評価の説明を入力します。
    6. データセットを指定するには、「既存のデータセットの選択」または「ノートブック・ストレージからのデータセットのアップロード」をクリックします。
    7. (オプション)ステップ6で「既存のデータセットの選択」をクリックした場合は、コンパートメントを選択します。
    8. (オプション)ステップ6で「既存のデータセットの選択」をクリックした場合は、データセットのオブジェクト・ストレージの場所を選択します。
    9. (オプション)ステップ6で「既存のデータセットの選択」をクリックした場合は、オブジェクト・ストレージ・パスを指定します。
    10. 実験を指定するには、「既存の実験の選択」または「新しい実験の作成」をクリックします。実験を使用して、同様のモデルを評価用にグループ化します。
    11. オプション: 「Choose an existing experiment」をクリックした場合は、実験を選択します。
    12. オプション: 「新規実験を作成」をクリックした場合:
      1. 試験名を入力します。
      2. オプション: 実験に説明を付けます。
    13. 結果を格納するオブジェクト・ストレージ・バケットを指定します。
      1. コンパートメントの選択
      2. オブジェクト・ストレージの場所を選択します。
      3. オプション: オブジェクト・ストレージ・パスを指定します。
    14. 次へ」をクリックします。
    15. (オプション)「パラメータ」で、デフォルト値からモデル評価パラメータを更新します。
    16. 「拡張オプションの表示」をクリックします。
    17. 使用するインスタンス・シェイプおよび停止シーケンスを指定します。
    18. (オプション)「ロギング」で、使用するログ・グループおよびログを指定します。
    19. 「次へ」をクリックします。
      作成する評価のレビュー・ページが表示されます。
    20. [送信]をクリックして評価を開始します。
    21. 評価が完了し、「ライフサイクルの状態」「成功」に設定されたら、評価の横にある矢印をクリックします。
      BERTScore、ROUGEおよびモデル・パラメータが表示されます。「ダウンロード」をクリックして、レポートをHTML形式でダウンロードします。
  • AIクイック・アクションCLIコマンドのパラメータおよび値の完全なリストは、AIクイック・アクションCLIを参照してください

  • このタスクはAPIを使用して実行できません。