設問
Universal Containers は、多くのレコードで機能するフィールド生成プロンプトテンプレートを作成しましたが、ユーザーからトークン制限エラーによるランダムな失敗が報告されています。
このエラーがランダムに発生する原因は何でしょうか？
選択肢
A. LLM で処理できるトークンの数は、ユーザー全体の需要によって異なります。
B. プロンプト テンプレートの動的な性質によって生成されるトークンの数は、レコードによって異なります。
C. プロンプトグラウンディングによって生成されるトークンの可変量に対応するには、テンプレート タイプを Flex に切り替える必要があります。
解答
B. プロンプト テンプレートの動的な性質によって生成されるトークンの数は、レコードによって異なります。
解説
A. LLM で処理できるトークンの数は、ユーザー全体の需要によって異なります。
不正解です。
LLMのトークン制限はモデル自体に定義された固定値であり、ユーザーの需要や負荷によって変動することはありません。この理解は誤りで、エラーのランダム性の原因ではありません。
B. プロンプト テンプレートの動的な性質によって生成されるトークンの数は、レコードによって異なります。
正解です。
動的なプロンプトテンプレートは、レコードごとに異なるデータ量を処理します。データ量の多いレコードではトークン制限を超える可能性があり、これがランダムなエラーの原因となります。
C. プロンプトグラウンディングによって生成されるトークンの可変量に対応するには、テンプレート タイプを Flex に切り替える必要があります。
不正解です。
Flexテンプレートへの変更はトークン制限エラーの解決策として推奨されていません。問題の本質はテンプレートタイプではなく、データ量の変動にあります。
第103問
こちらをクリック
