1. 各AIブロックの出力を確認する
まず、ワークフローのどこで想定とずれ始めているかを特定します。そのために、各 AIブロック からの出力が適切かを確認します。
1-1. 出力の確認方法
- AIブロックを「レビュー必須」に設定し、実行時に各ブロックの出力を手動で確認する
- もしくは、ブロックの出力を成果物として保存し、ワークフロー 実行後にまとめて確認する
これにより、「どのブロックまでは正しいが、どのブロックからおかしくなるか」を切り分けられます。
1-2. AIブロックの出力が期待外れな場合
以下を順に見直してください。
- プロンプトの調整
- そのブロックのプロンプトを見直し、目的・前提条件・出力形式・制約(件数、粒度など)をより具体的に記載する
- 入力情報が正しく渡っているかを確認
- 仕様書・要件・画面イメージなど、想定している入力が本当にその AIブロック に渡っているかをチェックする
- 1つのブロックに処理を詰め込みすぎていないか確認
- 「仕様の理解」「テスト観点の洗い出し」「テストケース詳細の生成」などを 1 つの AIブロック でまとめて行おうとしていないか確認する
- 必要に応じてブロックを分割し、1つのブロックには1つの作業だけを担当させる
1-3. 出力が概ね期待どおり・手動調整で十分な場合
AIの出力が大きくは間違っていないが、細かな修正が必要な程度であれば、次を検討します。
- 同様の調整を、ワークフロー内の他のAIブロックにも適用する
- 出力サイズ(テストケースの数など)が大きすぎないかを確認
- テストケース数が非常に多いと、1件ごとの品質が下がったり、処理が不安定になったりする可能性があります
- 必要な画面・機能・ユースケースに範囲を絞るなど、入力やテストケース出力のスコープを限定して、出力サイズを抑制します
2. 入力ドキュメントをAutify Genesis が正しく読めているか
Autify Genesis は、仕様書などの入力ドキュメントを元にテスト観点やテストケースを生成します。PDFや画像については OCR などを用いて内容を読み取りますが、入力が正しく理解できない場合、その情報を使うタスク(例:テスト観点の洗い出し、テストケース生成)の結果も期待外れになります。そのため、「AIが入力をきちんと読めているか」を必ず確認してください。
2-1. チャットで読み取り状況を確認する
- Genesis のチャット機能 を使い、アップロード済みの仕様書やドキュメントについて質問します
- 例:
- 「仕様書Aのセクション2の内容を教えて」
- 「仕様書Aのエラーメッセージ一覧をまとめて」 など
回答内容が仕様書と比べて明らかにおかしい場合、そのドキュメントをうまく読めていない可能性があります。