Agentforce公式ガイド実務編②:構築・品質検証・改善

Agentforce公式ガイド実務編②:構築・品質検証・改善

本章は、公式ガイド第2~3章の「Build」「Test」を実務目線で要約したものです。
Agentforceは既存の自動化(Flow・Apex・Prompt Template)を“行動単位”として再利用する構造を持ちます。
この記事では、その仕組みを理解しながら、品質検証・ガードレール実装・テストケース設計を中心に整理しました。
単なる構築手順ではなく、“再現性ある開発体制”を築くためのエッセンスを抽出しています。

ステップ1:環境準備と機能の有効化

このステップでは、Agentforceエージェント構築に必要な機能を有効化し、開発用の環境を整える方法を解説します。

機能の有効化

管理者はSetupから以下の機能を有効にする必要があります。

機能目的
Data Cloudナレッジ記事やFAQを安全に格納し、AIが参照できるようにする
Einstein Generative AILLMベースの回答生成エンジンを提供する
Agentforceテンプレートからエージェントを作成し、トピックやアクションを管理する

試験導入では、Salesforce Developer Editionを利用して検証することが推奨されます。組織にチャネル機能(Messaging、Digital Experiences)を追加する場合は、展開フェーズで有効化します。

権限セットの準備

エージェントユーザー用にカスタムの権限セットを作成し、以下のアクセス権を付与します。

  • Flowの実行権限:CaseやContactを検索・更新するフローを実行するため。
  • Prompt Templatesの読み取り権限:システムメッセージやトピックのプロンプトを利用するため。
  • Data Libraryのアクセス権:アップロードされたナレッジデータを参照するため。
  • Case・Contactオブジェクトの読み取り・作成権限:ケース管理や顧客情報の参照に必要。

本番環境では最小限の権限付与に留め、CEOロールを割り当てないよう注意しましょう。

ステップ2:エージェントの作成とカスタマイズ

テンプレートからエージェントを作成

  1. テンプレート選択 – SetupのAgent Builderから「New Agent」を選択し、テンプレート一覧から「Service Agent」を選びます。
  2. 基本設定 – エージェント名、説明、言語設定を入力します。システムメッセージの初期値は後でカスタマイズします。
  3. トピックの確認 – デフォルトで含まれる「General FAQ」「Create Case」などのトピックとアクションを確認し、自社に不要なものは無効化します。

データライブラリの構築

エージェントが正確な情報を返すためには、ナレッジソースを整備することが不可欠です。Makana社の例では、保証規定やトラブルシューティングガイドをPDFでアップロードし、Data Libraryに登録しました。アップロード後は「Answer Questions with Knowledge」アクションにライブラリを紐付け、エージェントが参照できるようにします。資料を更新した際は再読み込みを実施してください。

トピックとアクションの詳細設定

General FAQトピックでは、どの製品カテゴリや質問を扱うかを説明文で明確にし、誤分類を避けます。例えば「医療機器に関する一般的な質問を扱います。価格や注文状況、返品ポリシーは含みません」と記述します。

Case Managementトピックでは、顧客メールアドレスを取得する入力フィールドを追加し、コンタクトレコードを検索するフローを作成します。Flow Builderで次の要素を配置し、条件分岐を実装します。

  • Get Records – EmailをキーにContactオブジェクトからレコードを取得。
  • Decision – Contactが存在するかどうかを判断し、存在しない場合は新規ケース作成に分岐。
  • Create Records / Update Records – ケースを作成するか、既存ケースを表示する処理を実装。

複雑な処理が必要な場合は、標準アクションだけでなくCustom Actionを利用します。Custom ActionではApexクラスや外部APIを呼び出すことができ、柔軟な拡張が可能です。

システムメッセージのカスタマイズ

エージェントの印象を左右するのがシステムメッセージです。Welcome MessageやError Messageを自社のブランドトーンに合わせて編集します。例えばMakana社では、温かみのある挨拶文を採用し、誤解を招きやすい表現を排除しました。メッセージの文言は後のテストフェーズで評価しながら調整します。

ステップ3:テスト計画とシナリオ作成

テスト計画の策定

生成AIは非決定的であるため、エージェントの品質を検証するための計画が欠かせません。テストでは目標、評価指標、シナリオを事前に定義します。Makana社では、「FAQ自己解決率を40%以上にする」「ケース管理の平均処理時間を50%削減する」といった具体的な目標を設定しました。

評価指標には以下の項目を採用します。

指標内容
完全性必要な情報が欠けていないか、回答が質問に答えているか
一貫性会話の流れが自然か、指示に従っているか
簡潔性回答が過剰に長くないか、要点がまとまっているか
指示遵守トピックのルールやリスクガードレールを順守しているか

シナリオテンプレートの活用

ガイドでは、テストシナリオを次の要素で構成することを推奨しています。

要素説明
シナリオ説明顧客がどのような状況で何を知りたいかを記述する
テスト発話実際に顧客が入力するであろう発話例
期待トピック/アクションエージェントが選択すべきトピックや実行すべきアクション
予想応答エージェントから返ってくる理想的な回答
バリエーション敬語・怒り口調など、意図は同じでも表現が異なる発話
多ターン次の質問や追跡質問が来た場合の流れ

Makana社の保証期間問い合わせシナリオでは、予想応答として「CGM‑3000は購入日から12か月の限定保証が付いています」と設定しました。さらに「保証に含まれないものは?」と続けて聞かれた場合の応答も用意し、多ターンシナリオとして検証しました。

これらのシナリオテンプレートや評価指標の表は、自社用にカスタマイズして利用することができます。新製品の発売やサービス内容の変更に合わせて定期的に見直し、チーム内で共有しておくことが重要です。

ステップ4:テスト実行と評価

手動テスト

Agent BuilderのConversation PreviewやPlan Canvasを利用し、作成したシナリオを1件ずつ手動で実行します。各テストの結果を評価指標に照らして採点し、問題点を記録します。誤回答が多い場合はプロンプトやトピック説明を修正し、データライブラリを見直しましょう。

バッチテスト

大量のシナリオを一括で検証する場合は、Testing Centerにシナリオリストをインポートし、バッチテストを実行します。テスト結果のCSVをダウンロードし、完全性や指示遵守のスコアを分析することで、弱点を定量的に把握できます。バッチテストは本番リリース前や大幅なアップデートの後に繰り返し実施することが推奨されています。

改善サイクル

テスト結果を踏まえた改善は、エージェント開発の重要なサイクルです。以下のループを繰り返すことで品質を高めていきます。

  1. 問題の特定 – 手動テストやバッチテストでエラーや不一致を発見。
  2. 原因分析 – プロンプト設定、フローの分岐、データ不足など原因を突き止める。
  3. 修正 – トピック説明やアクション、システムメッセージ、データライブラリを更新。
  4. 再テスト – 修正を加えたバージョンを再度テストし、改善効果を確認。

バージョン管理機能を利用して変更履歴を残し、修正前後の比較ができるようにしておくと後からの検証が容易です。

よくある課題と対策

実務担当者が構築とテストを進める際に直面しやすい課題と、その解決策を以下にまとめました。

課題状況対策
ランダムな応答で評価が安定しない生成AIの特性上、同じ質問でも微妙に異なる回答が返るため、評価結果が揺れやすい複数回テストして平均評価を取る。バッチテストで大量のデータを集め、統計的に分析する
データが不足しているナレッジ記事が少ない、製品情報が古いなどで正しい回答が返せないData Cloudに最新のマニュアルやFAQを追加し、定期的に更新するプロセスを確立する
マルチターンシナリオが足りない単発の質問のみテストしているため、追跡質問で挙動が乱れる「保証期間」→「保証に含まれないものは?」のように連続した質問を組み込んだシナリオを設計し、多ターン検証を行う
テスト作業の属人化特定の担当者だけがテストを実施し、手順や評価基準が共有されていないシナリオテンプレートや評価シートを共有し、チーム全体で同じ基準でテストする。評価指標と期待値をドキュメント化する

こうした課題を踏まえ、テスト計画や評価の仕組みをチームで共有することが品質向上につながります。

まとめと次のステップ

本記事では、公式ガイド第2〜3章「Build/Test」から、構築設計・品質検証・ガードレールの実装手法を抽出しました。
これにより、Agentforceを「動く仕組み」として構築し、品質を定量的に担保する方法を理解できたはずです。
次は、いよいよ「Deploy/Monitor(展開・運用)」フェーズへ。
エージェントを現場に展開し、実際のデータで改善サイクルを回す方法を見ていきましょう。

次に進む

お問い合わせ

現在Salesforceを効果的に活用できていない企業様や、これからSalesforceの導入を検討している企業様で、設定や運用、保守に関するサポートが必要な場合は、ぜひお気軽にご相談くださいませ!

    お問い合わせ目的

    Salesforceカテゴリの最新記事