NVIDIA NCP-AAI Safety, Governance, and Human Oversight

Use for NeMo Guardrails, semantic guardrails, security, privacy, bias mitigation, responsible AI, explainability, auditability, and human-in-the-loop controls.

試験Exams
NCP-AAI
問題数Questions
17
コメント数Comments
0
1 17

表示中 17 / 17 問

1. NCP-AAI トピック 9 問題 1051. NCP-AAI Topic 9 Question 105

問題Question

あなたは RAG (検索拡張生成) ソリューションを実装しています。
RAG システム内にセマンティック ガードレールを実装する主な目的は何ですか?

  • A. ユーザーのクエリと生成された応答の意味に基づいてルールと制約を確立する。
  • B. 潜在的に有害なエントリをすべてベクター データベースから削除します。
  • C. ユーザーの理解を向上させるために、すべての LLM 応答を複数の言語に自動的に翻訳します。
  • D. 問題があるとフラグが立てられた特定のキーワードを含むすべてのクエリをフィルターで除外します。

You are implementing a RAG (Retrieval-Augmented Generation) solution.
What is the primary purpose of implementing semantic guardrails within a RAG system?

  • A. To establish rules and constraints based on the meaning of user queries and generated responses.
  • B. To eliminate all potential harmful entries from the vector database.
  • C. To automatically translate all LLM responses into multiple languages for improved user comprehension.
  • D. To filter out all queries containing specific keywords that have been flagged as problematic.

2. NCP-AAI トピック 9 問題 1062. NCP-AAI Topic 9 Question 106

問題Question

NVIDIA の NeMo ガードレールを使用してエンタープライズ エージェント システムのセキュリティ対策を実装する場合、最も包括的な保護を提供するアプローチはどれですか?

  • A. ユーザーインターフェイスレベルでの入力のサニタイズ
  • B. コンテンツモデレーション、出力フィルタリング、動作監視を備えた多層ガードレール
  • C. 事前定義されたパターンによるルールベースのコンテンツフィルタリング
  • D. ユーザー認証と認可の制御

When implementing security measures for enterprise agentic systems using NVIDIA’S NeMo Guardrails, which approach provides the most comprehensive protection?

  • A. Input sanitization at the user interface level
  • B. Multi-layered guardrails with content moderation, output filtering, and behavioral monitoring
  • C. Rule-based content filtering with predefined patterns
  • D. User authentication and authorization controls

3. NCP-AAI トピック 9 問題 1073. NCP-AAI Topic 9 Question 107

問題Question

あなたのチームは LangChain を使用してエージェントを構築しており、運用環境に展開するためのガードレールを実装する必要があります。
NVIDIA NeMo ガードレールの最も効果的な統合を表すアプローチはどれですか?

  • A. Rebuild the agent using only NeMo Guardrails, thereby reconstructing the LangChain implementation with enhanced safety controls and production-ready guardrail integration.
  • B. 既存のワークフロー アーキテクチャを維持し、現在の開発投資を維持しながら、LangChain エージェントを NeMo Guardrails 構成でラップします。
  • C. 安全要件に対処するために入力フィルタリングを構成し、現在のフレームワーク内でデータの検証とモデレーションに重点を置いたガードレール メカニズムを統合します。
  • D. LangChain エージェントを NeMo Guardrails と並行して実行すると、システム間の出力を比較して、包括的な安全性の検証とパフォーマンスの最適化が可能になります。

Your team has built an agent using LangChain and needs to implement guardrails for deployment in a production environment.
Which approach represents the MOST effective integration of NVIDIA NeMo Guardrails?

  • A. Rebuild the agent using only NeMo Guardrails, thereby reconstructing the LangChain implementation with enhanced safety controls and production-ready guardrail integration.
  • B. Wrap the LangChain agent with NeMo Guardrails configuration while maintaining the existing workflow architecture and preserving current development investments.
  • C. Configure input filtering to address safety requirements, integrating guardrail mechanisms focused on data validation and moderation within the current framework.
  • D. Run the LangChain agent in parallel with NeMo Guardrails, allowing comparison of outputs between systems for comprehensive safety validation and performance optimization.

4. NCP-AAI トピック 9 問題 1084. NCP-AAI Topic 9 Question 108

問題Question

この質問は、特に組織がより自律的な AI エージェントを開発する際に、AI の倫理とコンプライアンスの分野における重要な懸念事項に対処します。バイアスに対する効果的なガードレールの実装、データ プライバシーの確保、規制の順守は、責任ある AI 開発の重要な要素です。
次の記述のうち、エージェント AI アプリケーションで安全性チェックとガードレールを実装するために RAGAS (取得拡張生成評価) をどのように利用できるかを正確に説明しているものはどれですか?

  • A. RAGAS はすべての安全面を独立して評価することはできませんが、トピック遵守やエージェント目標精度などのガードレールとして機能する指標を提供します。
  • B. RAGAS は文書検索の品質を評価することしかできませんが、エージェント システムの安全ガードレールには適用できません。
  • C. RAGAS は幻覚検出専用に設計されており、薬剤アプリケーションの他の安全面を評価することはできません。
  • D. RAGAS は、NeMo などの他のガードレール フレームワークと組み合わせてのみ使用でき、単独で機能することはできません。

This question addresses important concerns in the field of AI ethics and compliance, particularly as organizations develop more autonomous AI agents. Implementing effective guardrails against bias, ensuring data privacy, and adhering to regulations are essential components of responsible AI development.
Which of the following statements accurately describes how RAGAS (Retrieval Augmented Generation Assessment) can be utilized for implementing safety checks and guardrails in agentic AI applications?

  • A. RAGAS cannot evaluate all safety aspects independently but provides metrics like Topic Adherence and Agent Goal Accuracy that serve as guardrails.
  • B. RAGAS can only evaluate the quality of document retrieval but has no applications for safety guardrails in agentic systems.
  • C. RAGAS is exclusively designed for hallucination detection and cannot evaluate other safety aspects of agentic applications.
  • D. RAGAS can only be used in conjunction with other guardrail frameworks like NeMo and cannot function independently.

5. NCP-AAI トピック 9 問題 1095. NCP-AAI Topic 9 Question 109

問題Question

あなたのチームは、候補者の履歴書の要約や面接の質問の提案など、人事内部で使用するための生成エージェントを導入しました。デプロイ後、モデルが特定の名前や性別を特定の役割に関連付けることがあることに気づきました。
エージェントの出力におけるこの種の偏りを軽減するには、どの軽減戦略が最も効果的で拡張性があるでしょうか?

  • A. システム プロンプトを調整して、人口統計的特徴に基づく仮定を避けるようにエージェントに明示的に指示します。
  • B. ID の相関関係を減らすためにプロンプ​​ト内の名前をランダムに置き換えます
  • C. トレーニング データセットにトレーニング サンプルをさらに追加し、モデルを再トレーニングします。
  • D. 保護された属性を参照する出力を防ぐガードレールを実装する

Your team has deployed a generative agent for internal HR use, including summarizing candidate resumes and suggesting interview questions. After deployment, you’ve noticed that the model occasionally associates certain names or genders with particular roles.
Which mitigation strategy is the most effective and scalable for reducing this type of bias in agent outputs?

  • A. Adjust system prompts to explicitly instruct the agent to avoid assumptions based on demographic features
  • B. Randomly replace names in prompts to reduce identity correlation
  • C. Add more training examples to the training dataset and re-train the model
  • D. Implement guardrails to prevent outputs referencing protected attributes

6. NCP-AAI トピック 9 問題 1106. NCP-AAI Topic 9 Question 110

問題Question

NeMo ガードレールを使用する金融顧問エージェントで安全違反を分析する場合、ガードレール適用範囲のギャップを特定するのに最も適した評価アプローチはどれですか?

  • A. キーワードおよびルールベースの検証方法を適用して、ポリシー条件および一般的なリスク条件への準拠を確認します。
  • B. 違反パターンを分析し、敵対的なプロンプトをテストし、ガードレールのアクティブ化を測定し、観察された障害に合わせてポリシーを調整します。
  • C. 代表的なユーザー入力を使用して機能テストを実施し、一般的な使用シナリオでのポリシーの適用を検証します。
  • D. 全体的なガードレールのアクティブ化とシステム ログを監視して、さまざまなインタラクション タイプにわたる運用動作を評価します。

When analyzing safety violations in a financial advisory agent that uses NeMo Guardrails, which evaluation approach best identifies gaps in guardrail coverage?

  • A. Apply keyword- and rule-based validation methods to confirm compliance with policy terms and common risk conditions.
  • B. Analyze violation patterns, test adversarial prompts, measure guardrail activation, and align policies with observed failures.
  • C. Conduct functional testing with representative user inputs to verify policy enforcement in typical usage scenarios.
  • D. Monitor overall guardrail activations and system logs to assess operational behavior across different interaction types.

7. NCP-AAI トピック 9 問題 1117. NCP-AAI Topic 9 Question 111

問題Question

あなたは RAG ソリューションを開発しており、生成されたテキストのリスクを評価するためにセマンティック ガードレール システムの一部として分類子ブランチを使用することにしました。
プロンプト フィルタリングのみに依存する場合と比較して、分類子ブランチを使用する主な利点は次のうちどれですか?

  • A. 分類子ブランチはトレーニングを必要としないため、潜在的に問題のあるコンテンツを識別できます。
  • B. 分類子ブランチは、文体や有害な表現ではなく、事実の不正確さを検出することに主に焦点を当てています。
  • C. 分類子のブランチは、新しい形式の有害な言語に自動的に適応できます。
  • D. 分類子ブランチにより人間による監視の必要がなくなり、安全プロセスが自動化されます。

You are developing a RAG solution and have decided to use a classifier branch as part of your semantic guardrail system to assess the risk of generated text.
Which of the following is a key benefit of using a classifier branch compared to solely relying on prompt filtering?

  • A. Since a classifier branch does not require training, it can identify potentially problematic content.
  • B. Classifier branches primarily focus on detecting factual inaccuracies, rather than stylistic or harmful language.
  • C. Classifier branches can automatically adapt to new forms of harmful language.
  • D. Classifier branches eliminate the need for human oversight, thereby automating the safety process.

8. NCP-AAI トピック 9 問題 1128. NCP-AAI Topic 9 Question 112

問題Question

あなたは、医師が患者記録に基づいて治療の推奨を行うのを支援する、ヘルスケアに焦点を当てたエージェント AI システムを導入しています。エージェントの推論はユーザーには公開されず、その決定は臨床ガイドラインと異なる場合があります。
どのような安全性とコンプライアンスのメカニズムを導入する必要がありますか? (2つお選びください。)

  • A. 説明責任を維持するために人間の医師によるオーバーライドを許可する
  • B. すべての出力に対してモデルの説明可能性またはトレーサビリティを要求する
  • C. 説明可能性よりも自律的な意思決定のスピードを優先する
  • D. 結果が改善される場合、モデルをコンプライアンスから免除する
  • E. 独自のメソッドを保護するために決定ロジックを難読化する

You’re deploying a healthcare-focused agentic AI system that helps doctors make treatment recommendations based on patient records. The agent’s reasoning is not exposed to users, and its decisions sometimes differ from clinical guidelines.
What safety and compliance mechanisms should be in place? (Choose two.)

  • A. Allow overrides by human doctors to maintain accountability
  • B. Require model explainability or traceability for all outputs
  • C. Prioritize autonomous speed of decision over explainability
  • D. Exempt the model from compliance if it improves outcomes
  • E. Obfuscate decision logic to protect proprietary methods

9. NCP-AAI トピック 9 問題 1139. NCP-AAI Topic 9 Question 113

問題Question

AI エンジニアは、実稼働エージェント AI システムが責任ある AI 標準に準拠しているかを分析しています。
マルチエージェントワークフローにおける潜在的な安全上の脆弱性と倫理的リスクを効果的に特定する評価アプローチはどれですか? (2つお選びください。)

  • A. 安全性の脆弱性の主要な評価要素としてレイテンシーのメトリクスとスループットのパフォーマンスを重視し、運用上の対策とリソースの割り当てのベースラインを提供します。
  • B. セマンティック類似性チェックを備えた NVIDIA NeMo Guardrails を使用して包括的な監査証跡を実装し、会話フロー全体でエージェントの決定を追跡し、自動コンプライアンス スコアリングを通じてポリシー違反を評価します。
  • C. リスク特定のための主要なシグナルとしてユーザー フィードバックを使用し、運用モニタリングと並行して導入後の観察と定性的なエクスペリエンス レポートを重視します。
  • D. バイアス検出メトリクス (人口統計上の均等性、均等化されたオッズ) と敵対的テストを組み合わせた多層評価を展開し、多様なユーザー集団にわたる有害な出力に対するエージェントの反応を調査します。

An AI Engineer is analyzing a production agentic AI system’s compliance with responsible AI standards.
Which evaluation approaches effectively identify potential safety vulnerabilities and ethical risks in multi-agent workflows? (Choose two.)

  • A. Emphasize latency metrics and throughput performance as key evaluation factors for safety vulnerabilities, providing a baseline for operational measures and resource allocation.
  • B. Implement comprehensive audit trails using NVIDIA NeMo Guardrails with semantic similarity checks, tracking agent decisions across conversation flows and evaluating policy violations through automated compliance scoring.
  • C. Use user feedback as a primary signal for risk identification, emphasizing post-deployment observations and qualitative experience reports alongside operational monitoring.
  • D. Deploy multi-layered evaluation combining bias detection metrics (demographic parity, equalized odds) with adversarial testing to probe agent responses for harmful outputs across diverse user populations

10. NCP-AAI トピック 9 問題 11410. NCP-AAI Topic 9 Question 114

問題Question

あなたは、候補者の履歴書とソーシャル メディア データを分析して上位の応募者を推薦する、AI 主導の応募者スクリーニング エージェントを導入しています。差別禁止法と企業ポリシーにより、システムは保護されたグループに対する偏見を軽減し、決定の監査証跡を維持し、GDPR (データの最小化と明示的な同意を含む) に準拠する必要があります。
スクリーニング エージェントが推奨事項のバイアスを軽減し、データ プライバシー規制に準拠していることを確認するには、次の戦略のうちどれが最も効果的ですか?

  • A. 導入後の GDPR とバイアス監査を実行し、受け取った生の個人データを処理します。
  • B. 保護された属性を仮名化し、公平性を意識したバイアス軽減を実装し、監査証跡を維持し、GDPR データの最小化と同意を強制します。
  • C. 保存中および転送中のすべての候補データを暗号化し、分析から保護された属性を削除し、推奨事項に対して手動でバイアス チェックを実施します。
  • D. トレーニング中に性別と民族のフィールドを除外し、同意のために一般的なプライバシー ポリシーを使用し、監査ログを維持したり、対象を絞ったバイアス軽減を適用したりしません。

You are deploying an AI-driven applicant-screening agent that analyzes candidate resumes and social-media data to recommend top applicants. Due to anti-discrimination laws and corporate policy, the system must mitigate bias against protected groups, maintain an audit trail of decisions, and comply with GDPR (including data minimization and explicit consent).
Which of the following strategies is most effective for ensuring your screening agent both mitigates bias in its recommendations and complies with data-privacy regulations?

  • A. Perform a post-deployment GDPR and bias audit and process raw personal data as received.
  • B. Pseudonymize protected attributes, implement fairness-aware debiasing, maintain an audit trail, and enforce GDPR data-minimization and consent.
  • C. Encrypt all candidate data at rest and in transit, remove protected attributes from analysis, and conduct manual bias checks on recommendations.
  • D. Exclude gender and ethnicity fields during training, use a generic privacy policy for consent, and do not maintain audit logs or apply targeted debiasing.

11. NCP-AAI トピック 9 問題 11511. NCP-AAI Topic 9 Question 115

問題Question

Health Assistant エージェントは実稼働環境で数週間実行されています。コンプライアンス チームは、個人の健康データがどのように処理されているかを監査したいと考えています。
この要件をサポートする運用機能はどれですか?

  • A. プライバシー ルールを明確にするために、プロンプトの例をさらに追加します
  • B. 冒とく的な表現と PII 検出器を使用してすべての出力をマスクする
  • C. モデルの温度を上げて多様な解釈を実現
  • D. 監査証跡メタデータを使用した完全なセッションログの有効化

A health assistant agent has been running on production environment for several weeks. The compliance team wants to audit how personal health data has been processed.
Which operational feature supports this requirement?

  • A. Adding more prompt examples to clarify privacy rules
  • B. Masking all output with a profanity and PII detector
  • C. Increasing model temperature for diverse interpretations
  • D. Enabling full session logging with audit trail metadata

12. NCP-AAI トピック 10 問題 11612. NCP-AAI Topic 10 Question 116

問題Question

あなたは、契約弁護士向けの AI を活用した起草アシスタントを設計しています。アシスタントは標準条項を提案し、過去の契約に基づいて潜在的なリスクを強調します。上級弁護士は、各提案を検討、承認、修正、または拒否し、条項が推奨された理由を確認し、アシスタントの改善に役立つフィードバックを提供する必要があります。
人間による効果的な監視、透明性、信頼を実現するために最も重要な設計機能はどれですか?

  • A. 出所とリスクの強調表示に関する追加の詳細へのリンクを含む推奨条項をサイド パネルに表示し、ユーザーが必要に応じてより多くのコンテキストにアクセスできるようにします。
  • B. 提案された条項を草案に挿入し、最後にレビューのために変更点を強調表示し、改善のフラグを立てたい条項について詳細なフィードバックを提供するようユーザーに促します。
  • C. 草案レビュー後に概要レポートに収集された説明とフィードバックとともに、提案された条項に対して「すべて受け入れる」または「すべて拒否」のバッチ制御を提供します。
  • D. 各提案に対するインラインの「なぜ」説明を表示し、前例とリスク要因を強調表示し、モデルを改良するための即時フィードバック取得による受け入れ/変更/拒否のコントロールを組み込みます。

You are designing an AI-powered drafting assistant for contract lawyers. The assistant suggests standard clauses and highlights potential risks based on past agreements. Senior attorneys must review, accept, modify, or reject each suggestion, see why a clause was recommended, and provide feedback to help improve the assistant.
Which design feature is most critical for enabling effective human-in-the-loop oversight, transparency, and trust?

  • A. Display suggested clauses with links to additional details about provenance and risk highlighting in a side panel, allowing users to access more context as needed.
  • B. Insert suggested clauses into the draft and highlight changes for review at the end, inviting users to provide detailed feedback on clauses they wish to flag for improvement.
  • C. Present batch “accept all” or “reject all” controls for suggested clauses, with explanations and feedback collected in a summary report after draft review.
  • D. Show inline “why” explanations for each suggestion, highlight precedent and risk factors, and include accept/modify/reject controls with immediate feedback capture for model refinement.

13. NCP-AAI トピック 10 問題 11713. NCP-AAI Topic 10 Question 117

問題Question

開発チームは、従業員と対話してスケジュールやタスクの管理を支援する AI アシスタントを作成しています。チームは、ユーザーが簡単にフィードバックを提供し、エージェントの決定を理解し、制御と信頼を維持するために必要に応じて介入できるようにしたいと考えています。
人間による効果的な監視と AI エージェントとの対話を最もよくサポートするプラクティスはどれですか?

  • A. エージェントのライフサイクル全体を通じてユーザーのフィードバックを継続的に収集して統合し、継続的な改善を推進します
  • B. 説明責任を維持するために、エージェントの決定を最終決定する前にユーザーレビュー段階を組み込む
  • C. 多様なニーズに対応するために、事前定義されたコマンドを超えた柔軟なユーザー対話を可能にする
  • D. 統合されたフィードバック ループとエージェントの決定の透過的な説明を備えた直感的なユーザー インターフェイスの設計

A development team is creating an AI assistant that interacts with employees to help manage schedules and tasks. The team wants to ensure users can easily provide feedback, understand the agent’s decisions, and intervene when necessary to maintain control and trust.
Which practice best supports effective human oversight and interaction with the AI agent?

  • A. Continuously collecting and integrating user feedback throughout the agent’s lifecycle to drive ongoing improvements
  • B. Incorporating user review stages before finalizing agent decisions to maintain accountability
  • C. Enabling flexible user interactions beyond predefined commands to accommodate diverse needs
  • D. Designing intuitive user interfaces with integrated feedback loops and transparent explanations of agent decisions

14. NCP-AAI トピック 10 問題 11814. NCP-AAI Topic 10 Question 118

問題Question

ある物流会社は、在庫レベルを管理し、需要を予測し、複数の倉庫にまたがる供給品を自動的に再注文するサプライ チェーン最適化のためのエージェント AI システムを導入しています。サプライ チェーン マネージャーは、AI の決定を監視し、在庫推奨の背後にある理由を理解し、ビジネス状況が急速に変化した場合に介入する必要があります。システムは、必要に応じて詳細な洞察を提供しながら、迅速な意思決定を可能にする直感的な方法で複雑なデータ分析を提供する必要があります。マネージャーはさまざまなレベルの技術的専門知識を持っており、高レベルの監視と詳細な分析の両方をサポートするインターフェイスを必要としています。
この複雑なマルチエージェントのサプライ チェーン システムを人間が効果的に監視するのに最も適したユーザー インターフェイス設計アプローチはどれですか?

  • A. AI 意思決定サマリー、基盤となるデータセットへのドリルダウンアクセス、およびセグメント化されたパフォーマンス指標を備えた包括的なダッシュボードを開発して、サプライチェーン運営の的を絞った分析を可能にします。
  • B. 特定のユーザーの役割に合わせて個別に特化したインターフェースを作成することで、管理者は役割固有の詳細をドリルダウン オプションで確認できる AI 主導の推奨事項を表示できますが、役割を越えたコラボレーションのための統一されたインターフェースはありません。
  • C. 直感的な概要、詳細分析のためのドリルダウン機能、AI の意思決定の状況に応じた説明、影響の視覚化と意思決定支援ツールを備えた明確な介入制御を備えた階層型インターフェイスを作成します。
  • D. AI による高レベルの決定と簡略化された推奨事項のみを表示する合理化されたインターフェイスを作成し、ドリルダウン ビューを基本的な履歴傾向に限定して簡単に参照できるようにします。

A logistics company is implementing an agentic AI system for supply chain optimization that manages inventory levels, predicts demand, and automatically reorders supplies across multiple warehouses. Supply chain managers need to monitor AI decisions, understand the reasoning behind inventory recommendations, and intervene when business conditions change rapidly. The system must present complex data analytics in an intuitive way that enables quick decision-making while providing detailed insights when needed. Managers have varying levels of technical expertise and need interfaces that support both high-level oversight and detailed analysis.
Which user interface design approach would BEST support effective human oversight of this complex multi-agent supply chain system?

  • A. Develop a comprehensive dashboard with AI decision summaries, drill-down access to underlying data sets, and segmented performance metrics to enable targeted analysis of supply chain operations.
  • B. Create separate specialized interfaces tailored to specific user roles, allowing managers to view AI-driven recommendations with drill-down options for role-specific details, but without a unified interface for cross-role collaboration.
  • C. Create a layered interface featuring intuitive summaries, drill-down capabilities for detailed analysis, contextual explanations of AI decisions, and clear intervention controls with impact visualization and decision support tools.
  • D. Create a streamlined interface presenting only high-level AI decisions and simplified recommendations, with drill-down views limited to basic historical trends for quick reference.

15. NCP-AAI トピック 10 問題 11915. NCP-AAI Topic 10 Question 119

問題Question

AI エンジニアは、サプライ チェーンの物流を管理するためにマルチエージェント システムを導入しました。関係者は、エージェントがタスク全体にわたるアクションをどのように決定するかについて、より深い洞察を求めています。
基礎となるモデル アーキテクチャを変更せずに、意思決定の透明性を向上させるのに最も適したアプローチはどれですか?

  • A. 完了したサブタスクごとに構造化されたユーザー評価を収集します
  • B. あらゆる意思決定に対する注意パターンの視覚的な概要を生成する
  • C. 各エージェントのワークフロー全体で段階的な推論ログを記録します。
  • D. 一連のタスク指示を保持し、関係者と共有する

An AI Engineer has deployed a multi-agent system to manage supply chain logistics. Stakeholders request greater insight into how the agents decide on actions across tasks.
Which approach would best improve decision transparency without modifying the underlying model architecture?

  • A. Gather structured user evaluations after each completed subtask
  • B. Generate visual summaries of attention patterns for every decision
  • C. Record a step-by-step reasoning log throughout each agent workflow
  • D. Retain and share the full sequence of task instructions with stakeholders

16. NCP-AAI トピック 10 問題 12016. NCP-AAI Topic 10 Question 120

問題Question

顧客サービス エージェント システムのパフォーマンスの時間の経過に伴う低下を分析する場合、エージェントの意思決定の透明性とユーザーの信頼を向上させるために人間参加型の介入の機会を最も効果的に特定する評価アプローチはどれですか?

  • A. 中間の意思決定ポイント、ユーザー対話パターン、エージェントの会話中の有益な人間の介入の機会を調査することなく、最終的なタスクの完了率のみを監視します。
  • B. 意思決定の信頼スコア、ユーザー修正パターン、介入の有効性、説明可能性と満足度の相関関係を追跡する多段階評価を実装します。
  • C. 介入の有効性、意思決定の透明性、ユーザーの信頼指標を体系的に追跡せず、ランダムな会話サンプルの定期的な手動レビューに依存する
  • D. 特定の意思決定の根拠、エージェントの説明に対するユーザーのフィードバック、信頼構築のための透明性向上の機会を収集することなく、匿名の使用状況統計を収集します。

When analyzing a customer service agentic system’s performance degradation over time, which evaluation approach most effectively identifies opportunities for human-in-the-loop intervention to improve agent decision-making transparency and user trust?

  • A. Monitor only final task completion rates without examining intermediate decision points, user interaction patterns, or opportunities for beneficial human intervention during agent conversations
  • B. Implement multi-stage evaluation tracking decision confidence scores, user correction patterns, intervention effectiveness, and explainability-satisfaction correlations
  • C. Rely on periodic manual reviews of random conversation samples without systematic tracking of intervention effectiveness, decision transparency, or user trust indicators
  • D. Collect anonymous usage statistics without capturing specific decision rationales, user feedback on agent explanations, or transparency improvement opportunities for trust building

17. NCP-AAI トピック 10 問題 12117. NCP-AAI Topic 10 Question 121

問題Question

医療診断会社は、放射線科医による医療画像の分析を支援するエージェント AI システムを導入しています。このシステムは、AI によって生成された予備診断を提供し、放射線科医が患者の治療法を決定する前にすべての推奨事項をレビュー、変更、承認できるようにする必要があります。人間の専門知識が中心となり、人間の介入と意思決定の根拠に関する詳細な記録が維持されるべきです。
安全性が重視される環境において、人間による監視と AI サポートのバランスをとるのに最も適したアプローチはどれでしょうか?

  • A. AI 分析に信頼性スコアを表示し、放射線科医が証拠を確認して推奨事項を変更できるようにし、すべての決定について文書化された推論による明示的な承認を必要とする対話型システムを設計します。
  • B. 放射線科医に最終診断を提示して簡単に承認または却下できる完全自動システムを設計し、人的介入を最小限に抑えて効率を向上させ、意思決定の疲れを軽減します。
  • C. 決定後の評価と品質保証に重点を置き、人間が介入することなく監視しながら AI が意思決定を行う受動的な監視システムを設計します。
  • D. AI の信頼度が所定のしきい値を下回った場合にのみ放射線科医に警告するシンプルな通知システムを設計します。それ以外の場合は、人間によるレビューや文書化を必要とせずに自律的な操作が可能です。

A medical diagnostics company is deploying an agentic AI system to assist radiologists in analyzing medical imaging. The system must provide AI-generated preliminary diagnoses and allow radiologists to review, modify, and approve all recommendations before patient treatment decisions. Human expertise should remain central, with detailed records of human interventions and decision rationales maintained.
Which approach would best balance human oversight with AI support in a safety-critical setting?

  • A. Design an interactive system that presents AI analysis with confidence scores, allows radiologists to review evidence, modify recommendations, and requires explicit approval with documented reasoning for all decisions.
  • B. Design a fully automated system that presents final diagnoses to radiologists for simple approval or rejection, minimizing human interaction to improve efficiency and reduce decision fatigue.
  • C. Design a passive monitoring system where AI makes decisions while humans observe without ability to intervene, focusing on post-decision evaluation and quality assurance.
  • D. Design a simple notification system that alerts radiologists only when AI confidence falls below predetermined thresholds, otherwise allowing autonomous operation without human review or documentation.