NVIDIA NCP-AAI Operations, Monitoring, and Reliability

Use for observability, retry behavior, production maintenance, alerting, diagnostics, API resilience, and ongoing operational health.

試験Exams
NCP-AAI
問題数Questions
18
コメント数Comments
0
1 18

表示中 18 / 18 問

1. NCP-AAI トピック 1 問題 21. NCP-AAI Topic 1 Question 2

問題Question

ある企業は、外部 API を統合し、幅広い顧客入力を動的に処理する AI を活用したカスタマー サポート エージェントを導入しています。
動的な会話管理や外部システムとの対話のための AI エージェントを設計する場合、次の戦略のうち適切なものはどれですか? (2つお選びください。)

  • A. ユーザーとの対話からのフィードバック ループを統合して、エージェントの動作を反復的に改善します。
  • B. ルールベースのロジックを主要なフレームワークとして使用して、エージェントの決定の一貫性を維持します。
  • C. Implementing retry logic for API failures to ensure robustness in external communications.
  • D. 信頼性が高く待ち時間の短い応答を提供するために、頻繁なクエリに対してハードコードされた応答を優先します。

A company is deploying an AI-powered customer support agent that integrates external APIs and handles a wide range of customer inputs dynamically.
Which of the following strategies are appropriate when designing an AI agent for dynamic conversation management and external system interaction? (Choose two.)

  • A. Integrating a feedback loop from user interactions to iteratively improve agent behavior.
  • B. Using rule-based logic as the primary framework to maintain consistency in agent decisions.
  • C. Implementing retry logic for API failures to ensure robustness in external communications.
  • D. Preferring hardcoded responses for frequent queries to deliver reliable and low-latency answers.

2. NCP-AAI トピック 2 問題 172. NCP-AAI Topic 2 Question 17

問題Question

開発チームは、チャットを通じてユーザーと対話するカスタマー サポート エージェントを構築しています。エージェントは、外部データベースから情報を確実に取得し、クラッシュすることなく時折発生する API 障害を処理し、時間の経過とともにユーザーのフィードバックから学習して応答を改善する必要があります。
AI エージェントを強化して現実世界のインタラクションを処理し、時間の経過とともに改善する場合、次のタスクのうち最も重要なのはどれですか?

  • A. 基礎的な生成モデルと迅速なエンジニアリングを使用して、適切に構造化されたトレーニング プロセスを適用する
  • B. Utilizing internal knowledge bases to support agent responses alongside external APIs
  • C. エラー処理のための再試行ロジックの実装と、反復的な改善のためのユーザー フィードバック ループの統合
  • D. 事前定義されたスクリプトに基づいて一貫した応答を提供する会話フローの設計

A development team is building a customer support agent that interacts with users via chat. The agent must reliably fetch information from external databases, handle occasional API failures without crashing, and improve its responses by learning from user feedback over time.
Which of the following tasks is most critical when enhancing an AI agent to handle real-world interactions and improve over time?

  • A. Applying a well-structured training process with foundational generative models and prompt engineering
  • B. Utilizing internal knowledge bases to support agent responses alongside external APIs
  • C. Implementing retry logic for error handling and integrating user feedback loops for iterative improvement
  • D. Designing conversation flows that provide consistent responses based on predefined scripts

3. NCP-AAI トピック 8 問題 893. NCP-AAI Topic 8 Question 89

問題Question

あなたのチームは、最近の API スキーマの更新後、デプロイされたワークフロー エージェントからのツール呼び出しの失敗が急増していることに気付きました。エージェントは引き続き出力を返しますが、多くは無関係または不完全です。
正確な動作を復元するには、どのメンテナンス タスクを優先する必要がありますか?

  • A. エージェントの長期記憶をリセットし、ログを再初期化します。
  • B. ツールの機能仕様を更新し、アクション シーケンスを再テストします。
  • C. モデルの温度を上げて工具の探索を促進します。
  • D. ツール検索ベクトルの類似性のしきい値を下げてコンテキストを広げます。

Your team notices a spike in failed tool calls from a deployed workflow agent after a recent API schema update. The agent still returns outputs, but many are irrelevant or incomplete.
Which maintenance task should be prioritized to restore accurate behavior?

  • A. Reset the agent’s long-term memory and reinitialize logs.
  • B. Update the tool function specifications and re-test action sequences.
  • C. Increase model temperature to encourage tool exploration.
  • D. Reduce tool retrieval vector similarity threshold to broaden context.

4. NCP-AAI トピック 8 問題 904. NCP-AAI Topic 8 Question 90

問題Question

データの取得とアクションの実行のためにエージェントと外部ツールおよび API の統合を評価する場合、信頼性とパフォーマンスの問題を効果的に特定する分析アプローチはどれですか? (2つお選びください。)

  • A. レイテンシの測定、エンドポイントごとの成功率、ツールの失敗とタスクの完了の間の相関分析を備えた包括的な API 呼び出しトレースを実装します。
  • B. 開発中に構成された静的な API エンドポイントとパラメーターを使用して、予測可能なワークフロー全体で一貫した効果的なエージェントの統合を可能にします。
  • C. 標準手順で外部 API に接続し、リクエストとレスポンスの交換を監視して、統合の信頼性と有効性の分析を分離します。
  • D. API バージョンの変更、スキーマの変更、下位互換性のシナリオをシミュレートする統合テストを設計して、アップデート間で信頼性の高いツール接続を確保します。

When evaluating an agent’s integration with external tools and APIs for data retrieval and action execution, which analysis approaches effectively identify reliability and performance issues? (Choose two.)

  • A. Implement comprehensive API call tracing with latency measurement, success rates per endpoint, and correlation analysis between tool failures and task completion.
  • B. Use static API endpoints and parameters configured during development, allowing consistent and effective agent integration across predictable workflows.
  • C. Connect to external APIs with standard procedures and monitor request and response exchanges to isolate the analysis of integration reliability and effectiveness.
  • D. Design integration tests simulating API version changes, schema modifications, and backward compatibility scenarios to ensure reliable tool connections across updates.

5. NCP-AAI トピック 8 問題 915. NCP-AAI Topic 8 Question 91

問題Question

最近導入されたエージェントは、システム負荷が高い場合に空の応答を出力することがあります。
この問題の診断に最も役立つシステムレベルの信号はどれですか?

  • A. クエリごとに返されるツール関数の引数の数
  • B. ベクトル検索における検索類似度のしきい値
  • C. GPU メモリ使用率とサーバー側推論ログ
  • D. 時間の経過に伴う即時噴射検出率

A recently deployed agent sometimes outputs empty responses under heavy system load.
Which system-level signal is most useful for diagnosing this issue?

  • A. Number of tool function arguments returned per query
  • B. Retrieval similarity thresholds in vector search
  • C. GPU memory utilization and server-side inference logs
  • D. Prompt injection detection rate over time

6. NCP-AAI トピック 8 問題 926. NCP-AAI Topic 8 Question 92

問題Question

国立医療提供者の AI アーキテクトは、エージェント AI システムを保守しています。システムは、モデルとシステムのパフォーマンスをリアルタイムで監視し、障害や異常が発生した場合にアラートを発し、バージョン管理と診断モデルのロールバックを管理し、患者ケアのワークフロー中のエージェントの動作に対する透過的な洞察を提供する必要があります。
NVIDIA AI スタックを使用してこれらの要件を最もよくサポートする運用アプローチはどれですか?

  • A. cron ジョブで実行される基本的なヘルスチェックを使用して NIM 内の各エージェントをコンテナ化し、事前に構築されたコンテナー イメージを交換することでバージョンのロールバックを管理します。
  • B. TensorRT ですべてのモデルを最適化し、定期的な手動ログ レビューと NVIDIA シェル スクリプトを使用してサービスの異常を検出し、ロールバックを管理します。
  • C. パフォーマンス アラートのために、Prometheus および Grafana を備えた NVIDIA Triton Inference Server にエージェント モデルをデプロイし、NGC および Triton モデル リポジトリを介してモデルのライフサイクルを管理します。
  • D. エージェントをステートレス NVIDIA API エンドポイントとして公開し、Git ベースのスクリプト リポジトリで追跡されるモデル バージョンを使用して、アプリケーション ログを通じてアクティビティを監視します。

An AI architect at a national healthcare provider is maintaining an agentic AI system. The system must monitor model and system performance in real time, raise alerts on failures or anomalies, manage version control and rollback of diagnostic models, and provide transparent insight into agent behavior during patient care workflows.
Which operational approach best supports these requirements using the NVIDIA AI stack?

  • A. Containerize each agent in NIM with basic health checks running on cron jobs, and manage version rollback by swapping prebuilt container images.
  • B. Optimize all models with TensorRT and use periodic manual log reviews and NVIDIA shell scripts for detecting service anomalies and managing rollback.
  • C. Deploy agent models on NVIDIA Triton Inference Server with Prometheus and Grafana for performance alerting, and manage model lifecycle via NGC and the Triton model repository.
  • D. Expose agents as stateless NVIDIA API endpoints and monitor activity through application logs, with model versions tracked in a Git-based script repository.

7. NCP-AAI トピック 8 問題 937. NCP-AAI Topic 8 Question 93

問題Question

あなたは、外部の課金 API からユーザー アカウント データを取得するカスタマー サポート チャットボットを構築しています。テスト中に、API がタイムアウトまたは 500 エラーを返すことがあります。エージェントが適切な場合には回復力を備えて再試行し、サービスがダウンしている場合には正常に失敗するようにしたいと考えています。
優れたユーザー エクスペリエンスを確保しながら、API 呼び出しにおける断続的な障害に最もよく対処する戦略はどれですか?

  • A. 失敗するたびに一定の短い遅延を設けてリクエストを再試行し、再試行が行われるたびにユーザーに通知します。
  • B. サーキット ブレーカーを使用してエクスポネンシャル バックオフの再試行を実装し、すべての再試行が失敗した場合にユーザーに明確なメッセージを返します。
  • C. 会話フローを維持し、ユーザーのサービス中断のリスクを軽減するために、失敗時に標準のフォールバック メッセージを返します。
  • D. すべての失敗タイプに対して固定遅延を使用して再試行をスケジュールし、予測可能なタイミングと各試行後のユーザー通知を維持します。

You are building a customer-support chatbot that fetches user account data from an external billing API. During testing, the API sometimes returns timeouts or 500 errors. You want the agent to be resilient-retrying when appropriate but failing gracefully if the service is down.
Which strategy best handles intermittent failures in API calls while still ensuring a good user experience?

  • A. Retry requests with a consistent short delay after each failure and notify the user as each retry takes place.
  • B. Implement exponential-backoff retries with a circuit breaker, and return a clear message to the user if all retries fail.
  • C. Return a standard fallback message on failures to maintain conversation flow and reduce the risk of service interruptions for the user.
  • D. Schedule retries using a fixed delay for all failure types, maintaining predictable timing and user notifications after each attempt.

8. NCP-AAI トピック 8 問題 948. NCP-AAI Topic 8 Question 94

問題Question

API 障害やネットワークの問題に対するカスタマー サービス エージェントの回復力を評価する場合、エラー処理や再試行メカニズムの弱点を効果的に特定できる分析方法はどれですか? (2つお選びください。)

  • A. 指数バックオフ パターン、再試行制限、サーキット ブレーカーの統合に関する再試行ロジックを分析して、分散システムでの連鎖的な障害を防止します。
  • B. エラー処理の一貫性を重視して、複数のシナリオにわたる回復試行を標準化する再試行メカニズムを実装します。
  • C. 固定再試行間隔を使用して動的チューニングの落とし穴を回避し、さまざまなエラー条件にわたって再試行タイミングを一貫して保ちます。
  • D. 通常のネットワーク条件でテストしてベースラインの動作を確立し、サービス低下シナリオでの運用パフォーマンスと結果を比較します。
  • E. 回復パターンとフォールバック動作を監視しながら、さまざまなエラー タイプ (タイムアウト、レート制限、不正な応答) を使用して障害挿入テストを実施します。

When evaluating a customer service agent’s resilience to API failures and network issues, which analysis methods effectively identify weaknesses in error handling and retry mechanisms? (Choose two.)

  • A. Analyze retry logic for exponential backoff patterns, retry limits, and circuit breaker integration to prevent cascading failures in distributed systems.
  • B. Implement retry mechanisms that standardize recovery attempts across scenarios, emphasizing consistency in handling errors.
  • C. Use fixed retry intervals to avoid the pitfalls of dynamic tuning, keeping retry timing consistent across different error conditions.
  • D. Test under normal network conditions to establish baseline behavior, comparing results against production performance during degraded service scenarios.
  • E. Conduct failure injection testing with varied error types (timeouts, rate limits, malformed responses) while monitoring recovery patterns and fallback behavior.

9. NCP-AAI トピック 8 問題 959. NCP-AAI Topic 8 Question 95

問題Question

ある自動運転車会社は、リアルタイムのセンサー データを処理し、運転に関する意思決定を行い、クラウド インフラストラクチャと通信するために、自社のフリート全体でマルチエージェント AI システムを運用しています。同社は、GPU 使用率、推論時間、メモリ使用量を追跡し、パフォーマンスを運転条件やシステム負荷と関連付け、安全性の問題を発生前に予測するために、フリート全体の監視を必要としています。
これらのフリート規模の安全性が重要な要件を最もよく満たすのは、どの監視および可観測性のアプローチでしょうか?

  • A. Prometheus 統合、NVIDIA Nsight Systems プロファイリング、Kubernetes ネイティブのモニタリングを備えた NVIDIA NIM マイクロサービスを展開して、スタック全体にわたる詳細なメトリクス、プロファイリング、コンテナ オーケストレーションの可観測性を提供します。
  • B. 分散トレース、合成トランザクション監視、カスタム ダッシュボードを使用した階層型アプリケーション監視を実装して、フリート全体の複雑な依存関係、トランザクション フロー、サービス レベルのパフォーマンス傾向を把握します。
  • C. リアルタイムのベースライン、自動化された根本原因分析、フリート管理の統合を備えた包括的な APM ソリューションを実装して、数千台の車両にわたる運用上の洞察とパフォーマンス管理を調整します。
  • D. 機械学習ベースの異常検出、カスタム パフォーマンスの視覚化、自動アラートを備えた OpenTelemetry 標準を使用してエンタープライズ テレメトリを展開し、予測的な運用上の洞察を提供し、プロアクティブなメンテナンス アクションをサポートします。

An autonomous vehicle company operates a multi-agent AI system across its fleet to process real-time sensor data, make driving decisions, and communicate with cloud infrastructure. The company needs fleet-wide monitoring to track GPU utilization, inference times, and memory usage, correlate performance with driving conditions and system load, and predict safety issues before they occur.
Which monitoring and observability approach would BEST meet these fleet-scale, safety-critical requirements?

  • A. Deploy NVIDIA NIM microservices with Prometheus integration, NVIDIA Nsight Systems profiling, and Kubernetes-native monitoring to provide detailed metrics, profiling, and container orchestration observability across the entire stack.
  • B. Implement layered application monitoring with distributed tracing, synthetic transaction monitoring, and custom dashboards to capture complex dependencies, transaction flow, and service-level performance trends across the fleet.
  • C. Implement comprehensive APM solutions with real-time baselines, automated root cause analysis, and fleet management integration to coordinate operational insights and performance management across thousands of vehicles.
  • D. Deploy enterprise telemetry using OpenTelemetry standards with machine learning-based anomaly detection, custom performance visualization, and automated alerting to deliver predictive operational insights and support proactive maintenance actions.

10. NCP-AAI トピック 8 問題 9610. NCP-AAI Topic 8 Question 96

問題Question

あなたは、Enterprise AI Factory 内に Agentic AI を実装しています。あなたは、Enterprise AI Factory の各コンポーネントを含むエージェント システムの運用とスケーリングに重点を置いています。
システムのパフォーマンスに関する詳細な洞察を提供することが含まれる可観測性戦略はどれですか? (2つお選びください。)

  • A. パフォーマンスのボトルネックを特定するための詳細なモデルとアプリケーションのトレース。
  • B. システム イベントを追跡するための集中ログ機能。
  • C. OpenTelemetry (OTEL) を使用した主要なメトリクスの継続的な監視。
  • D. AI エージェントによって使用されるアーティファクト リポジトリ。すべてのシステム パフォーマンス メトリックが保存されます。

You are implementing Agentic AI within an Enterprise AI Factory. You are focused on the operation and scaling of the agentic systems including each of the Enterprise AI Factory components.
Which observability strategy involves providing detailed insights into the system’s performance? (Choose two.)

  • A. Detailed model and application tracing for identifying performance bottlenecks.
  • B. Centralized logging to track system events.
  • C. Continuous monitoring of key metrics using OpenTelemetry (OTEL).
  • D. Artifact repository used by the AI agents where all the system performance metrics are stored.

11. NCP-AAI トピック 8 問題 9711. NCP-AAI Topic 8 Question 97

問題Question

サードパーティ ツールが予期しない形式を返すと、サポート エージェントがタスクを完了できないことがよくあります。
これらの障害に対する回復力を向上させるソリューションはどれですか?

  • A. すべてのツール出力に対して堅牢なスキーマ検証と例外処理を追加します。
  • B. すべての世代に対して決定的な温度設定を使用する
  • C. 不適切な統合を回避するために利用可能なツールの数を減らす
  • D. モデルを再トレーニングして、サードパーティ ツールの使用を完全に回避します。

Your support agent frequently fails to complete tasks when third-party tools return unexpected formats.
Which solution improves resilience against these failures?

  • A. Add robust schema validation and exception handling for all tool outputs
  • B. Use deterministic temperature settings for all generations
  • C. Reduce the number of tools available to avoid bad integrations
  • D. Re-train the model to avoid the use of third-party tools entirely

12. NCP-AAI トピック 8 問題 9812. NCP-AAI Topic 8 Question 98

問題Question

運用環境でエージェントの信頼性を維持するために最も重要な 2 つのエラー処理戦略はどれですか? (2つお選びください。)

  • A. 外部サービス呼び出しのサーキット ブレーカー パターン
  • B. 詳細ログによるユーザーへの即時障害の伝播
  • C. 一時的な障害に対する指数バックオフによる自動再試行
  • D. エラー処理のためシステムを即時シャットダウン

Which two error handling strategies are MOST important for maintaining agent reliability in production environments? (Choose two.)

  • A. Circuit breaker patterns for external service calls
  • B. Immediate failure propagation to users with verbose logging
  • C. Automatic retry with exponential backoff for transient failures
  • D. Immediate system shutdown for error handling

13. NCP-AAI トピック 8 問題 9913. NCP-AAI Topic 8 Question 99

問題Question

API の応答が遅い、または一貫性がない場合、カスタマー サービス エージェントは複数ステップのワークフローを完了できないことがあります。
信頼性の低い API を使用する場合、堅牢性を最も効果的に高めるアプローチはどれですか?

  • A. 利用可能なツールを制限して意思決定の複雑さを軽減する
  • B. 指数バックオフによる再試行を追加し、リクエストのタイムアウトを設定する
  • C. 最近の API 結果をキャッシュして、不要な繰り返し呼び出しを制限します
  • D. 生成パラメータを調整して、より予測可能な応答を生成する

A customer service agent sometimes fails to complete multi-step workflows when APIs respond slowly or inconsistently.
Which approach most effectively increases robustness when working with unreliable APIs?

  • A. Restrict available tools to reduce decision complexity
  • B. Add retries with exponential backoff and set request timeouts
  • C. Cache recent API results to limit unnecessary repeated calls
  • D. Adjust generation parameters to produce more predictable responses

14. NCP-AAI トピック 8 問題 10014. NCP-AAI Topic 8 Question 100

問題Question

あなたは、クライアントの内部 SQL データベースから構造化データを取得して処理することによって財務分析を実行するエージェントを構築しています。エージェントは時折発生する接続エラーを処理し、正常に失敗するまでクエリを最大数回再試行する必要があります。
これらの要件を最もよく満たすアプローチはどれでしょうか?

  • A. ツール ラッパー内で組み込みの再試行処理と時間指定された遅延を備えた構造化されたツール呼び出しを使用します。
  • B. 少数のプロンプトを使用してエージェントの会話フローをガイドし、失敗した API 応答を手動で再試行します
  • C. ユーザーが再試行を確認した後にクエリを再試行するリアクティブ エージェント パターンを使用する
  • D. メモリを使用して失敗した試行回数を追跡し、その後の再試行に適用します。

You are building an agent that performs financial analysis by retrieving and processing structured data from a client’s internal SQL database. The agent must handle occasional connection errors and retry the query up to a few times before failing gracefully.
Which approach best meets these requirements?

  • A. Use structured tool calls with built-in retry handling and timed delays inside the tool wrapper
  • B. Use few-shot prompting to guide the agent’s conversation flow and manually retry failed API responses
  • C. Use a reactive agent pattern that retries the query after a user confirms a retry attempt
  • D. Use memory to track the number of failed attempts and apply it in later retries

15. NCP-AAI トピック 8 問題 10115. NCP-AAI Topic 8 Question 101

問題Question

ある大企業は、AI を活用したカスタマー サポート エージェントを世界中に展開する準備を進めています。高可用性と信頼性を維持するには、運用チームは、さまざまな場所にあるすべてのエージェント インスタンスを監視、更新、管理するための最適なアプローチを選択する必要があります。
信頼性の高い運用と大規模なエージェント導入の管理の簡素化を最も効果的に保証するソリューションはどれですか?

  • A. 集中監視と自動展開パイプラインを確立して、エージェントの状態を監視し、更新をトリガーし、すべての環境にわたるロールバックを管理します
  • B. エージェントのログを監視し、手動で再起動を実行する専任のサポート チームを割り当て、データ フライホイールでの人間の対話を確保します。
  • C. 年ベースで更新とヘルスチェックをスケジュールして、サービスの中断を最小限に抑え、エージェントの健全性を確保し、更新をトリガーし、すべての環境でロールバックを管理します。
  • D. 各地域展開で個別の監視ツールと手動更新を提供し、エージェントの健全性のローカル制御を強化し、更新をトリガーし、すべての環境にわたるロールバックを管理します。

A large enterprise is preparing to roll out its AI-powered customer support agents worldwide. To maintain high availability and reliability, the operations team must select the best approach for monitoring, updating, and managing all agent instances across different locations.
Which solution most effectively ensures reliable operation and simplified management of large-scale agent deployments?

  • A. Establishing centralized monitoring and automated deployment pipelines to oversee agent health, trigger updates, and manage rollbacks across all environments
  • B. Allocating a dedicated support team to monitor agent logs and perform manual restarts to ensure human interaction in the data flywheel
  • C. Scheduling updates and health checks on an annual basis to minimize service disruptions and ensure agent health, trigger updates, and manage rollbacks across all environments
  • D. Provide separate monitoring tools and manual updates at each regional deployment for greater local control of agent health, trigger updates, and manage rollbacks across all environments

16. NCP-AAI トピック 8 問題 10216. NCP-AAI Topic 8 Question 102

問題Question

ユーザーがデバイスに関する技術的な問題のトラブルシューティングを行うのを支援するエージェントを導入しました。運用開始から数週間後、ユーザーからのフィードバックにより、特に新しい問題については応答精度が低下していることがわかりました。
エージェントのパフォーマンス低下の根本原因を特定するには、どの監視方法が最も適切ですか?

  • A. セッション全体の出力トークン数を確認して、異常なモデルの動作を検出します
  • B. ツールの使用頻度と推論中のエラー率のログを分析します
  • C. 平均プロンプトの長さを経時的に比較して、一般的な入力パターンを分析する
  • D. 毎週の再デプロイメント サイクルをスケジュールしてモデルをリセットし、鮮度を向上させます

You’ve deployed an agent that helps users troubleshoot technical issues with their devices. After several weeks in production, user feedback indicates a decline in response accuracy, especially for newer issues.
Which monitoring method is most appropriate for identifying the root cause of declining agent performance?

  • A. Review output token counts across sessions to detect unusual model behavior
  • B. Analyze logs of tool usage frequency and error rates during inference
  • C. Compare average prompt length over time to analyze common input patterns
  • D. Schedule a weekly re-deployment cycle to reset the model and improve freshness

17. NCP-AAI トピック 8 問題 10317. NCP-AAI Topic 8 Question 103

問題Question

財務アシスタント エージェントを導入した後、ユーザーは取引の分類方法に不一致があると報告することがあります。
問題を診断するための最良の最初のステップは何ですか?

  • A. プロンプト温度を確認および変更して精度を向上させます
  • B. より多くの財務データセットを使用してモデルをレビューおよび再トレーニングする
  • C. 各セッション後にエージェントのメモリ リセットを実装する
  • D. 最近のセッション ログでツール呼び出しの入力と出力を確認する

After deploying a financial assistant agent, users report occasional inconsistencies in how transactions are categorized.
What is the best first step for diagnosing the issue?

  • A. Review and modify prompt temperature to enhance precision
  • B. Review and retrain the model with more financial datasets
  • C. Implement agent memory reset after each session
  • D. Review tool call inputs and outputs in recent session logs

18. NCP-AAI トピック 8 問題 10418. NCP-AAI Topic 8 Question 104

問題Question

運用環境でエージェントの信頼性を確保するために最も重要な 2 つの検証アプローチはどれですか? (2つお選びください。)

  • A. 主要な品質指標としてのユーザー満足度調査
  • B. 開発段階でのパフォーマンステスト
  • C. Pydantic スキーマを使用した構造化された出力検証
  • D. 手動レビューのためにエージェントの対話をランダムにサンプリング
  • E. 複数のエージェント実行にわたる自動一貫性チェック

Which two validation approaches are MOST critical for ensuring agent reliability in production deployments? (Choose two.)

  • A. User satisfaction surveys as the primary quality metric
  • B. Performance testing during development phases
  • C. Structured output validation with Pydantic schemas
  • D. Random sampling of agent interactions for manual review
  • E. Automated consistency checking across multiple agent runs