NVIDIA NCP-AAI Evaluation and Optimization

より優れたエージェントをトレーニングするために使用できる NVIDIA フレームワークは何ですか?

What NVIDIA framework can be used to train a better agent?

RAG パイプラインを評価しています。 LLM-as-a-Judge は、無関係な情報を含む応答に対して一貫して高い類似性スコアを割り当てていることがわかります。
最小限の開発労力で最も可能性の高い潜在的な原因として何を調査する必要がありますか?

You are evaluating your RAG pipeline. You notice that the LLM-as-a-Judge consistently assigns high similarity scores to responses that contain irrelevant information.
What should you investigate as the most likely potential cause with the least development effort?

あなたは、カスタマー サポート チケットのトリアージを担当するエージェント AI を管理しています。エージェントは一貫して正確にチケットを適切な部門にルーティングしてきました。しかし、チームリーダーは、「エスカレーション」を必要とするチケットの数が大幅に増加していることに気づきました。これは、エージェントが最初に複雑な問題を単純で日常的な問題として誤って分類し、遅延や顧客の不満につながったケースです。
この問題を解決するための適切な最初のステップは何でしょうか?

You’re managing an agentic AI responsible for customer support ticket triage. The agent has been consistently accurate in routing tickets to the appropriate departments. However, a team leader has noticed a significant increase in the number of tickets requiring “escalation” – cases where the agent initially misclassified a complex issue as a simple, routine one, leading to delays and frustrated customers.
What would be an appropriate first step in resolving this issue?

顧客サービス エージェント AI は、請求に関する問い合わせを解決するように設計されています。常に正確かつ効率的に問い合わせを解決します。しかし、エージェントがやり取りのたびに、すでに提供された後であっても同じ情報 (口座番号、住所) を繰り返し要求する傾向があるため、かなりの数の顧客が不満を報告しています。
この問題を解決するにはどの評価方法が最も効果的でしょうか?

A customer service agentic AI is designed to resolve billing inquiries. It consistently resolves inquiries accurately and efficiently. However, a significant number of customers are reporting frustration due to the agent’s tendency to repeatedly ask for the same information (account number, address) during each interaction, even after it’s already been provided.
Which evaluation method would be most effective for addressing this issue?

金融サービス エージェント AI は、顧客の最初のオンボーディングを自動化するために使用されています。エージェントはプロセスを効率的かつ正確に完了していますが、会話をレビューすると、顧客を混乱させる過度に形式的で複雑な言葉を頻繁に使用していることがわかります。
この問題に対処するにはどのタイプの評価が最適ですか?

A financial services agentic AI is being used to automate initial customer onboarding. The agent is completing the process efficiently and accurately, but reviews of its conversations reveal it often uses overly formal and complex language that confuses customers.
Which type of evaluation is best suited to address this issue?

ツールを使用するエージェント (API 呼び出しを発行したり関数を実行したりするエージェントなど) のパフォーマンスを評価しています。以下のリストから、評価すべき 2 つの重要な機能は何ですか? (2つお選びください。)

You’re evaluating the performance of a tool-using agent (e.g., one that issues API calls or executes functions). From the list below, what are two important features to evaluate? (Choose two.)

技術文書エージェントを改善するためにユーザーのフィードバック パターンを分析する場合、フィードバックを実行可能な最適化戦略に効果的に変換する評価方法はどれですか? (2つお選びください。)

When analyzing user feedback patterns to improve a technical documentation agent, which evaluation methods effectively translate feedback into actionable optimization strategies? (Choose two.)

エージェントが複数ステップの財務分析タスクを完了できなかったことを分析する場合、信頼性の高いタスクの分解と実行に必要なエンジニアリングの改善を迅速に特定するには、どの評価アプローチが最適ですか?

When analyzing an agent’s failure to complete multi-step financial analysis tasks, which evaluation approach best identifies prompt engineering improvements needed for reliable task decomposition and execution?

エージェント AI は、さまざまなキャンペーンのマーケティング コピーを生成する役割を果たします。一貫して高品質のテキストを生成し、大きなエンゲージメントを生み出しています。しかし、ブランドマネージャーからの定性的なフィードバックによると、コンテンツには明確な「ブランドの声」が欠けており、一般的であるように感じられます。
ブランドの確立された意見に対するエージェントの遵守を評価するのに最も価値のある指標は次のうちどれですか?

An agentic AI is tasked with generating marketing copy for various campaigns. It’s consistently producing high-quality text and generating significant engagement. However, qualitative feedback from brand managers indicates that the content lacks a distinct “brand voice” and feels generic.
Which of the following metrics would be most valuable for evaluating the agent’s adherence to the brand’s established voice?

導入後のエージェントの応答品質が最適化されていないことを分析する場合、最適な構成調整を効果的に特定できるパラメータ調整評価方法はどれですか? (2つお選びください。)

When analyzing suboptimal agent response quality after deployment, which parameter tuning evaluation methods effectively identify the optimal configuration adjustments? (Choose two.)

あなたは、マーケティング コピーを生成するように設計された 2 つのエージェント AI システム (システム A とシステム B) を比較する任務を負っています。同一のプロンプトを実行し、生成された出力を記録しました。
どのシステムのパフォーマンスが優れているかを客観的に評価するには、最も適切なアプローチは何でしょうか?

You are tasked with comparing two agentic AI systems – System A and System B – both designed to generate marketing copy. You’ve run identical prompts and have recorded the generated outputs.
To objectively assess which system is performing better, what is the most appropriate approach?

RAG パイプラインを、合成質問に対する応答を比較することで評価しています。大量の類似性スコアのセットを収集しました。
これらのスコアを 1 つの指標 (平均類似度など) に集約する主な利点は何ですか?

You’re evaluating the RAG pipeline by comparing its responses to synthetic questions. You’ve collected a large set of similarity scores.
What’s the primary benefit of aggregating these scores into a single metric (e.g., average similarity)?

AI ワークフローの設計において、AI エージェントのパフォーマンスを向上させるための包括的なアプローチを最もよく表しているものは次のうちどれですか?

In designing an AI workflow which of the following best describes a comprehensive approach to improving the performance of AI agents?

あなたは LLM を使用して、カスタマー サービス チームへの電子メール応答の生成を自動化しています。生成された応答は的を外していることが多く、顧客の根本的な懸念に対処できません。
電子メールの応答の品質を向上させるために、プロンプトに追加する最も重要な要素は何ですか?

You’re employing an LLM to automate the generation of email responses for a customer service team. The generated responses frequently miss the mark, failing to address the customer’s underlying concerns.
What’s the most crucial element to add to the prompt to enhance the quality of the email responses?

サプライチェーンの代理店システムで一連の調整を行った結果、代理店は配送時間を大幅に短縮し、コストを最小限に抑えることができました。しかし、チームは配送の遅延に関する顧客からの大量の苦情を受け取っています。
この状況を調査する際に優先すべき最も重要な指標はどれですか?

After a series of adjustments in a supply chain agentic system, the agent has dramatically reduced shipping times and minimized costs, but the team is receiving a high volume of complaints from customers regarding delayed deliveries.
Which metric is MOST important to prioritize when investigating this situation?

クラウド インフラストラクチャ内の自動インシデント対応用に設計された最近導入された Agentic AI システムは、「優先度の高い」アラート、特に複数の仮想マシンにわたる CPU 使用率の増加に関連するアラートの特定と解決に一貫して失敗しています。初期ログでは、エージェントが CPU メトリクスを無視して、関連するネットワーク トラフィックの急増を伴うアラートに主に焦点を当てていることが示されています。
システムのベンチマークと反復的な改善への依存を考慮した場合、シニア Agentic AI エンジニアがこの問題を解決するために実行する最も適切な最初のステップは何ですか?

A recently deployed Agentic AI system designed for automated incident response within a cloud infrastructure has been consistently failing to identify and resolve ‘high-priority’ alerts – specifically, those related to increased CPU utilization across several virtual machines. Initial logs show the agent is primarily focusing on alerts with related network traffic spikes, ignoring the CPU metrics.
What is the most appropriate initial step for a senior Agentic AI engineer to take to resolve this issue, considering the system’s reliance on benchmarking and iterative improvement?

チームは、顧客サポート用に設計された AI エージェントの複数のバージョンを評価しています。彼らは、どのバージョンがより効率的にタスクを完了し、正確に応答し、ユーザーのフィードバックを使用して時間の経過とともに改善できるかを特定したいと考えています。
AI エージェントの継続的な改良と最適なパフォーマンスを確保するには、どの実践が最も重要ですか?

A team is evaluating multiple versions of an AI agent designed for customer support. They want to identify which version completes tasks more efficiently, responds accurately, and improves over time using user feedback.
Which practice is most important to ensure continuous refinement and optimal performance of the AI agent?

同様のクエリを処理する多数のカスタマー サービス エージェント全体で一貫性のないパフォーマンスを分析する場合、根本原因と最適化の機会を最も効果的に特定する評価アプローチはどれですか?

When analyzing inconsistent performance across a fleet of customer service agents handling similar queries, which evaluation approach most effectively identifies root causes and optimization opportunities?

LLM-as-a-Judge を使用して RAG パイプラインを評価しています。
人間が作成したテスト ケースのみに依存するのではなく、質問と回答のペアを合成的に生成することの主な利点は何ですか?

You are using an LLM-as-a-Judge to evaluate a RAG pipeline.
What is the primary benefit of synthetically generating question-answer pairs, rather than relying solely on human-created test cases?

あなたは LLM を利用して、複雑な技術文書を複数の言語に翻訳しています。翻訳にはニュアンスが欠けており、本来の意図を捉えていないことがよくあります。
翻訳の品質を向上させるための最も効果的な戦略は何ですか?

You’re utilizing an LLM to translate complex technical documentation into multiple languages. The translations often lack nuance and fail to capture the original intent.
What’s the most effective strategy for improving the quality of the translations?