Testing Course Samples

コースサンプルのテスト

レッスン用ノートブックおよびコードサンプルが実際の Microsoft Foundry / Azure OpenAI 環境で動作するかを検証します。このリポジトリには scripts/validate-notebooks.ps1 という ランナーが付属しており、全てのPythonノートブックをヘッドレス実行し、

使用タイミング

• "すべてのノートブック／サンプルを自分のAzureサブスクリプションで検証したいとき。"
• "パッケージのアップグレードやモデル変更後にコースのスモークテストを行いたいとき。"

AI Smoke Test GitHub Action（デプロイ済みホストエージェントを検証するもの—tests/README.md参照）には使用しないでください。このスキルは ノートブックをローカルで実行します。

前提条件（最初にチェック）

1. Python 3.12+ とコース依存パッケージ：python -m pip install -r requirements.txt および実行用：python -m pip install nbconvert ipykernel。
2. リポジトリルートに .env（.env.example からコピー）を用意し、少なくとも以下を設定：
   • AZURE_AI_PROJECT_ENDPOINT — Foundryプロジェクトのエンドポイント (https://<account>.services.ai.azure.com/api/projects/<project>)
   • AZURE_AI_MODEL_DEPLOYMENT_NAME — 廃止されていないデプロイメント名（例：gpt-5-mini）
   • AZURE_OPENAI_ENDPOINT (https://<account>.openai.azure.com) と AZURE_OPENAI_DEPLOYMENT これはAzure OpenAIを直接呼び出すレッスン用（Lesson 06、02-azure-openai、14 handoff/human-loop）。
3. az login の完了 — サンプルは AzureCliCredential で認証します（Entra ID、キーレス）。
4. モデルデプロイメントが存在するか確認： az cognitiveservices account deployment list -g <rg> -n <account> -o table。

検証の実行方法

# すべてのPythonノートブック（.NET、.venv、site-packages、translations、スキルアセットはスキップ）
pwsh scripts/validate-notebooks.ps1

# 1つのレッスン、セルごとのタイムアウトが長い
pwsh scripts/validate-notebooks.ps1 -Filter '08-*' -Timeout 600

# 実行されるものをリスト表示するだけ（実行はしない）
pwsh scripts/validate-notebooks.ps1 -List

# 明示的なインタプリタ（`python`がPATHにない場合、例：Windowsストアのエイリアス）
pwsh scripts/validate-notebooks.ps1 -Python "C:/path/to/python.exe"

スクリプトは実行済みのコピー、ノートブックごとのログ、results.jsonを $env:TEMP\aiab-nbval に書き出し、失敗数を終了コードとして返します。

一時的な失敗（共有サブスクリプションのHTTP 429レート制限、たまに起こる AzureCliCredential トークンの不具合、タイムアウト）は自動的に リトライされます（-Retries（デフォルト2）および -RetryDelaySeconds バックオフ（デフォルト20秒））。モデルデプロイメントが頻繁に429を返す場合は、 サブスクリプションのGlobalStandard TPMクォータ（az cognitiveservices usage list -l <region>）を確認してください。単一の デプロイメントの容量増強は、サブスクリプション クォータが枯渇している場合は効果がありません。

結果の解釈

• PASS — ノートブックはセルエラーなく最後まで実行されました。
• FAIL — 最初の *Error / *Exception 行が表示されます。完全なトレースバックは、 出力ディレクトリ内の該当する log_*.txt を開いて確認してください。
• 単一ノートブックの失敗は -Timeout（セルごと）により制限されます。つまり、 ハングしたヒューマンインザループセルは StdinNotImplementedError として検出され、ハング状態にはなりません。

追加リソースが必要なレッスン（無ければ失敗が予想される）

結果の報告

レッスン単位でまとめたPASS／FAILテーブルを作成します。実際のリグレッション （修正すべきコード・設定のバグ）と環境不足（Search/Foundry Local/PATの未設定）を区別し、 本物の失敗ごとに該当する log_*.txt を記載してください。

免責事項： 本書類は AI 翻訳サービス Co-op Translator を使用して翻訳されています。正確性を期していますが、自動翻訳には誤りや不正確な部分が含まれる可能性があることをご承知おきください。原文の原語版が正式な情報源とみなされるべきです。重要な情報については、専門の人間による翻訳を推奨します。本翻訳の利用により生じたいかなる誤解や解釈違いについても、当方は責任を負いかねます。