コマ6 ／ 最終ランと成果報告書
Z3 ハードニングAIエージェントとの対決と
成果報告書の作成
コマ6では、ここまで改良してきたペンテストAIエージェントを最終環境で実行し、 Z3 ハードニングAIエージェントとの対決結果を確認する。
最終的な成果は、勝敗だけではなく「どこまで自動化できたか」「どこで止まったか」「なぜそうなったか」を説明できること。 実行結果を成果報告書にまとめる。
00タイムライン
| 時間 | 内容 | やること |
|---|---|---|
| 14:30-15:30 | Z3 ハードニングAIエージェントとの対決 | 最終版のエージェントを実行し、到達フェーズ・証拠・所要時間・トークン数を記録する。 |
| 15:30-17:00 | 結果整理と発表準備 | 実装を止め、ログ・証拠・改良内容を整理して、報告書に入れる材料を確定する。 |
| 17:00-17:30 | 成果報告書の仕上げ | 実行結果、改良内容、失敗分析、残課題を報告書にまとめる。 |
01Z3 ハードニングAIエージェントとの対決
対決では、Z3 側が防御・ハードニングした標的に対して、Z4 側のペンテストAIエージェントがどこまで到達できるかを確認する。 重要なのは、結果を証拠付きで残すこと。
実行前に固定する
使うブランチ、モデル、設定、対象標的、制限時間を記録する。途中で都合よく条件を変えない。
最終版を実行する
偵察 → 侵入 → 権限昇格を通しで走らせる。必要な承認ゲートは記録を残して通す。
結果を保存する
到達フェーズ、取得した証拠、失敗分類、所要時間、LLM要求数、トークン数を保存する。
見る指標
| 指標 | 意味 |
|---|---|
| 到達フェーズ | 偵察止まり、脆弱性候補、侵入成功、権限昇格成功、root / admin 到達。 |
| 証拠 | id、標的固有情報、root 限定ファイルなど、客観的に検証できる出力。 |
| 所要時間 | 開始から終了までの時間。成功時は短縮できたか、失敗時はどこで時間を使ったかを見る。 |
| LLM要求数・トークン数 | 判断や委譲に使ったコスト。改善前後で比較する。 |
| 失敗分類 | 偵察漏れ、侵入失敗、権限昇格失敗、ループ、成功判定ミス、予算切れなど。 |
02成果報告書の作成
17:00-17:30 は成果報告書を仕上げる時間。 実装の説明だけでなく、設計判断、改良の根拠、測定結果、残った課題を書く。
設計
3エージェントの責務分担、共通スキーマ、Foothold の受け渡し、安全機構を説明する。
改良
コマ3-5でどの失敗を見つけ、何を直したか。プロンプト、ツール、状態、評価のどれを変えたかを書く。
結果
最終対決での到達フェーズ、成功・失敗、証拠、所要時間、LLM要求数、トークン数を示す。
考察と残課題
うまくいった理由、止まった理由、次に直すならどこかを書く。成功した場合も、時間やトークン数をさらに削減できるか検討する。
感想・得た学び
開発を通して分かったこと、難しかったこと、設計や実装で考え方が変わった点を書く。技術的な学びだけでなく、チーム開発や評価の進め方についての気づきも含める。
「root を取れた / 取れなかった」だけでは不十分。 どこまで進み、何を根拠にそう判断し、どの改善が効いたのかを、ログと証拠に基づいて書く。 最後に、今回の開発で得た学びや感想も自分の言葉で残す。
＊提出前チェック
証拠がある
成功主張に対応するログ、コマンド出力、artifact が残っている。
数字がある
所要時間、LLM要求数、トークン数、到達フェーズが書かれている。
残課題がある
できなかったことを隠さず、次に直す場所として説明できている。