評価
AIクイック・アクションによるモデル・パフォーマンスの評価
デプロイ済モデルでは、モデル評価を作成してそのパフォーマンスを評価できます。オブジェクト・ストレージからデータセットを選択するか、作業中のノートブックのストレージからデータセットをアップロードできます。ノートブックからデータセットをアップロードするには、まず、ノートブック・セッションがオブジェクト・ストレージにファイルを書き込むようにするポリシーを設定する必要があります。モデル評価に実験名でラベルを付けることができます。既存の実験から選択するか、または新規の実験を作成できます。BERTScoreおよびROUGEは、モデル・パフォーマンスの測定に使用できる評価メトリックです。モデル評価結果をオブジェクト・ストレージに保存できます。モデル評価パラメータを設定できます。詳細オプションの下で、評価のコンピュート・インスタンス・シェイプを選択し、オプションで停止シーケンスを入力できます。また、モデル評価を使用してロギングを設定してモニターできます。ロギングはオプションですが、評価のエラーのトラブルシューティングに役立つようにすることをお薦めします。ロギングを有効にするには、必要なポリシーが必要です。ロギングの詳細は、「ログ」の項を参照してください。評価を作成する前に、評価の構成およびパラメータを確認できます。
「評価」タブに戻ると、モデルの評価が完了すると、評価ライフサイクル状態がSucceeded
になります。評価結果を表示し、モデル評価レポートのコピーをローカル・マシンにダウンロードできます。
評価の詳細およびヒントは、GitHubの「評価」を参照してください。
AIクイック・アクションCLIコマンドのパラメータおよび値の完全なリストは、AIクイック・アクションCLIを参照してください
このタスクはAPIを使用して実行できません。