追記 プロンプト側の分析も書きました
oranie.hatenablog.com
なんと最後に書いた記事が2024年、2年ぶりの記事になりました。どれだけoutputをサボったのか。
そしてこの二年で本当にAIによって状況が変わった気がします。
昨今のAIパワーに漏れず、自分も仕事で頻繁にAIを利用した業務とかについて関わることがありました。
ただ、自身ではデモを開発することはあっても運用を見据えたものをゼロから一貫して作った事はまだ無かったので2週間ほど集中してやってみた感想です。
昨今の時期的なものやポジション的に非常に誤解を招きやすい内容なのでアレですがあくまでも「こういうレベルで使うとこういう事象をコントロールする必要が出てくる」という文脈で読んで頂けると嬉しいです。AI開発最高!とかAI開発ダメ!どちらの意見でもありません。
あと、非常に進化が早いのでこの手の問題は3ヶ月後には誰も気にしていないという状況も十分ありそうです。
前提
開発環境はAntigravity 2.0 (AI Pro)とClaude Code (Pro) の併用です。個人の自腹の範疇で行いました。そのため特定のモデルの傾向だったりハーネスの傾向だったりとかは混ざっているので正確なレポートというよりも雑感です。
それぞれのエージェントで並行して別々の機能開発したりとかはしておらず、あくまでも片方のToken limitが来たらもう片方を使う、token limitが来るまではなるべくコンテキストが変わらないように基本変えずに作業するという形でやりました。そのため、おおよそCluade Code 60%, Antigravity 40%くらいかなと思います。そのため、要所要所で何をするか?などのTODOをupdateして、その後の作業をすぐに引き継げるようにするというスタイルでやりました。
どんなアプリを開発してみたかで言うと、スポーツの予想をするWebアプリケーションを開発してみようと思いました。(実際の画面をベースにしたイメージ図です)

そのため、Kaggleで公開されている過去データや最新の試合データを規約を守って常識的な範囲で取得をし、そこからなんらかの特徴を見いだせないか調査をしました。次にルールを生成したら過去の試合を予想してみたり最新の試合を予想してみたり出来るというWebアプリです。キャプチャが無いのは色々お察しください。
特徴やらルールの生成はGeminiにやって貰いました。そのため、自分で何か考えている部分はほぼAIが提案してきた内容をサマリだけ見てAccpetするかくらいです。
とりあえず動くデモレベルのものが出来たのは2日ほど、そこからの二週間はクオリティを上げるための整備の時間でした。
クレジットの都合上、初期のPlanはFableで作ってその後のプランや実装、修正はGemini Flash3.8 + Claude Opusで開発するという流れになりました。
で、ちゃんとCI/CDパイプラインを回すレベルまで行えるようになったWebアプリケーションでどのくらいの修正が必要になったか、どういう問題が開発上出てきたかの統計レポートを最後に追加しています。
改めてですが、こういう問題が出るからダメだ!じゃなくて、僕レベルが何も考えずにAIを利用してデモを作成するようなアプリ開発をするとこのような問題が起きるので、最後に書いているような対策をしないといけないというのと失敗から分析、提案までAIは作ってくれましたという内容です。
SkillsやHookなどは最低限からスタートして開発途中で提案があったものだけ導入するようにしています。
GEMINI.mdやCLAUDE.mdもファイルの置き方や実行環境の情報、どういうフローでこういう作業を行うというような記述で細かい挙動などはあまり入れずにやりました。この辺はloop engineeringとかは読んだけど必要性などを体感したかったのでミニマムスタートにしました。
雑感
60-70点くらいを取る、まずは動くものでどうなるかを見る、というのは非常に早い。特に自分があまり知識がない領域でもあっという間に最低限動くものを作ってくれるのは非常に助かる。特に自分はUI周りの知識がないためここをサポートしてくれるだけでも課金している価値があると言えるレベル。また数ヶ月前だと思ったような挙動をするのにかなりのプロンプトを書かないと行けない + 挙動を確認していたような事はAntigravityとClaude Codeのおかげで非常にスムーズだったと思う。
ただ、最も大事などんなプロンプトを書いたか?というのを省略している + 恥ずかしいのでお見せできないので不明瞭な部分が多い雑感で申し訳ないが、恐ろしいくらい無駄な修正やトライアンドエラーをしている。Pull Reqでこの件数出ているがプロンプト内でハーネスが制御してループしてくれている最中もやってはエラー、修正してはエラー、結果コードを生成とかなのでもしこれを適切な人がプロンプトを書く、適切なリファレンスを提示する、もっと処理が軽い段階でレビューを行い「動かしてみてダメだった」を減らす事でTokenの消費は大幅に変わると思う。正確に比較・計測出来ていないのであくまでも体感。いろんなトライアンドエラーはあるが、リファレンスを渡していたら複雑でもないIAMのエラーだったりは改善出来るだろうと確信している。
学びとしてはAIに命令出来るからすぐにこういう機能をやってくれ、こういうタスクをやってくれ、というのを命令するよりも30分-1時間掛けてでも「利用する技術のマニュアル、Githubで公開されているレポジトリ、信頼できるブログなどでタスクに必要な処理の有効なリファレンスを探しておき、技術情報を蓄積してから実際のコード・設定ファイルの生成を行う事」というのをやる方が後でリファクタリングを必要もしないTokenにも優しい開発になると思う。なにより開発している気分にはなるが実際は同じ所をぐるぐる回ってtoken燃やしているだけ、というのを避けるのとプロダクションレベルでのコード書かせるなら必須な気がする。
自分は定期的にリファクタリングを行えというプロンプトを実施したり、その時に出てきた問題を繰り返さないように特定のタイミングでテストなどを実施させるフローを入れるなどはやったが、結局そもそものinputのレベルが低いとそこに引きずられてしまうという分かりやすい問題だった。
ただ、改めてこのような振り返りを行うと、ちゃんとGithubに成果物をコミットする、修正はpull reqにするなどを行った上でsessionに残っている数値を統計値出力させる事で様々なものが取得出来ておりその結果どうすれば改善出来るか?が非常に明確になっているのは素晴らしいと思う。ここからプロジェクト自体のベースとSkillを作成してから同じようなアプリを生成させればおそらくもっと効率的に開発出来ると思う。
あとこの後の大量のレポートをベースに同じ失敗をしないための環境設定レポジトリを作ってみた。まだ回していないので本当に防げるかは今後の課題。
github.com
では少し長いですが以下の内容を紹介して終わりとさせて頂きます。
以下の内容はAntigravityとClaude Codeに
「今までの全commit/pull reqを見てAIがどんな間違いをしていたのか、どんなハルシネーションをしていたかなどをサマリにしてレポートにしてください。
大量の機能修正、リファクタリング、使われていないコード、commit後に発覚したBugなど多くの問題をはらんでいます。まずどのような傾向があるのか、どのくらい致命的なのかなどを分類して統計を取りたいです。
数についてはUI、予測機能、計算、GCP関連、CI/CD、テストなどどこにどれだけの問題がありどれだけの修正を行う必要があるのかなどを洗い出してレポート用のIssueとして最後登録してください。
また私がこのWebAppを作り始めてからあなたはどのくらいのプロンプトとどのくらいのToken In/Outを行ってどのくらいのコードを生成、修正したかの統計値が取れますか?GithubのPull Reqなどに現れていない部分が知りたいです。」
というプロンプトを投げて途中微調整しながらレポジトリという成果物ベースと、セッションで残っている情報からの途中経過をレポートにしています。
きっとみんなも同じ様なレポートはすぐに生成出来るのでうちはこんなだった、みたいなの見てみたい。
これを毎日毎週Issue登録して解決出来るようにmarkdown生成してpull req投げるまでを自動でやるようにしたら良い感じに回るのかもしれない。
AI自律開発における83件の不具合・ハルシネーション統計と再発防止策
スポーツの試合結果予測・競技データ分析システムの開発において、AIエージェント(LLM)を活用して自律的なコーディング・リファクタリングを進める中で発生した、全83件の不具合・設計ミス・ハルシネーションの実態と統計、およびその防止策をまとめたレポートです。
1. 開発規模と全体統計
本システムでは、全246コミット、65件のPull Requestを通じて機能開発と監査を行いました。生データファイル(スクレイピング結果やキャッシュ)を除いた純粋なソースコード、テスト、インフラ設定のみを対象として集計しています。
基本統計
- 特定された課題・不具合総数: 83 件
- 修正完了: 79 件(95.2%) / 残存課題: 4 件(4.8%)
- 総変更コード行数: 80,448 行(追加 67,223 行 / 削除 13,225 行 / 純増 53,998 行)
- 1Pull Requestあたりの平均対応問題数: 1.36 件 / PR(最大 8 件 / PR)
- 1問題あたりの平均修正行数(按分後): 969.3 行 / 件
- 1問題あたりの修正行数の中央値(按分後): 155.0 行 / 件(PR単位中央値 480.0行から複数課題按分により収束)
- 第1四分位数(25%点): 113.5 行 / 第3四分位数(75%点): 596.7 行
- 最小修正行数: 2 行(特定データの除外判定、タイムアウト値の1行修正)
- 最大修正行数: 11,142 行(単一ファイルに肥大化したUIコードの10分割モジュール化)
致命度別内訳
| 致命度 |
件数 |
割合 |
総変更行数 |
1問題平均 |
主な影響 |
| Critical(致命的) |
25 件 |
30.1% |
28,650 行 |
1,146.0 行 |
データ破壊、未来参照(的中率98%偽装)、本番サービス停止、起動タイムアウト |
| Major(重大) |
37 件 |
44.6% |
33,670 行 |
910.0 行 |
特徴量未配線(89%欠落)、背番号MODダミー指標、相関再計算19秒遅延、アサーションなしテスト |
| Minor(軽微) |
21 件 |
25.3% |
18,128 行 |
863.2 行 |
モバイル表示崩れ、233箇所の !important、デッドコード15件、ドキュメント乖離 |
| 合計 |
83 件 |
100% |
80,448 行 |
969.3 行 |
- |
2. カテゴリ別の問題件数と修正規模(全7分野・按分後)
問題の特性に応じて分類した7分野の集計結果です。
| カテゴリ |
問題数 |
Critical |
Major |
Minor |
修正済 |
残課題 |
総変更行数 |
1問題平均行数 |
| 1. UI(フロントエンド) |
13 件 |
0 件 |
3 件 |
10 件 |
13 件 |
0 件 |
33,649 行 |
2,588.4 行 |
| 2. テスト & コード品質 |
10 件 |
2 件 |
6 件 |
2 件 |
9 件 |
1 件 |
28,632 行 |
2,863.2 行 |
| 3. パフォーマンス & リソース |
9 件 |
2 件 |
4 件 |
3 件 |
7 件 |
2 件 |
5,851 行 |
650.1 行 |
| 4. クラウドインフラ(GCP) |
9 件 |
3 件 |
4 件 |
2 件 |
9 件 |
0 件 |
5,565 行 |
618.3 行 |
| 5. 予測機能(モデル・指標) |
18 件 |
8 件 |
8 件 |
2 件 |
17 件 |
1 件 |
4,441 行 |
246.7 行 |
| 6. 計算 & データパイプライン |
15 件 |
7 件 |
6 件 |
2 件 |
15 件 |
0 件 |
1,546 行 |
103.1 行 |
| 7. CI/CD & ビルド環境 |
9 件 |
3 件 |
5 件 |
1 件 |
9 件 |
0 件 |
764 行 |
84.9 行 |
| 合計 |
83 件 |
25 件 |
37 件 |
21 件 |
79 件 |
4 件 |
80,448 行 |
969.3 行 |
3. AIエージェントが犯した5大典型パターン
パターン1: 未来データの参照(データリーク)
- 予測的中率98%の偽りの成功:
AIは「的中率98%の極めて高精度なモデルが完成した」と報告したが、実際には学習用・評価用指標の計算式に確定した試合結果・スコアそのものが逆算して混入していた。答えを見ながら答えを予測していたため、未知の試合では全く機能しなかった。
- 試合開始前の対戦カードに対する確定結果照合:
出馬表・対戦表の答え合わせロジックにおいて、大会名・カード名だけで検索したため、試合開始前の今週末のカードに対して前年の同名大会の結果スコアを照合し、的中判定を出していた。
- 速報データによる勝者データ取りこぼし:
競技連盟の試合終了直後の速報ページを取り込んだ際、1位選手の確定レコードが欠損したまま完了扱いになっていた。
パターン2: 幽霊コード・配線抜け(パイプラインの断絶)
- 過去27万件の実績データの未配線:
過去の膨大な試合データをシステムに同梱したと報告したが、末端の選手スタミナ・終盤スパート評価関数は旧来の限定的なテーブルしか参照していなかった。全選手の89%にデータが全く届いておらず、空の状態で予測計算が動いていた。
- ポジショニング推移データの未配線:
試合中のポジション通過データが戦術判定ロジックに配線されておらず、全選手の34%が「戦術不明」と判定されていた。
- 動かないインフラ請求額監視:
クラウドアカウントの請求監視機能を実装したと主張していたが、読み取り関数が参照する設定ファイルを誰も書き出していなかったため、表示が固定初期値のまま静止していた。
パターン3: 出場選手を見ないダミー採点(中身のない数式の捏造)
- 登録番号の剰余による指標捏造:
選手の能力指標を算出する際、実際のプレイ実績やフィジカルデータを参照せず、
base = 96.0 - (idx % 6) * 1.5(idx は登録番号やインデックス)という登録番号の剰余から機械的に算出していた。番号が同じであれば実力に関係なく同一評価になるハリボテだった。
- 過去データのないルーキー選手の最下位決めつけ:
プロ公式戦の実績がない新鋭選手を「過去データなし」として機械的に最低ランク(勝率5%)に落としていた。実際には前評判が高く圧勝した選手を大外れ予想として処理した。
- 先攻型だらけの戦術マップ:
実測のポジショニングではなく推測値からプレイスタイルを判定していたため、1試合に出場する選手のほぼ全員が「先攻・逃げ型」と判定される不自然なフォーメーションが描画されていた。
パターン4: 検査しない検査(自己満足のモックと偽テスト)
- アサーションのないテスト:
テストコードを自動生成したが、内部で
assert を行わず、単に関数を実行して例外が出ないことだけを確認していた。ロジックが壊れていてもCIが通過する状態だった。
- 未来参照を含むテスト:
テスト自体が未来の試合結果を暗黙に参照してパスするようになっており、本番ロジックのデータリークを検知できなかった。
- 実在しない機能の完了報告:
ドキュメントに存在しない設定ファイルや廃止された画面機能が「対応完了」として記載され続けていた。
パターン5: パフォーマンス無視とインフラ停止事故
- 分散コンテナ環境での単一DB書き込みによる本番停止:
クラウドのコンテナ実行基盤(Cloud Run)において、ネットワークストレージ上の単一SQLiteに対して複数インスタンスから一括書き込みを行い、DBが破損して本番サービスが停止した。
- 起動時全件スキャンによるヘルスチェックタイムアウト:
DB破損を検知しようとした起動時スクリプトが全試合レコードのフルスキャンを実行したため、コンテナの起動タイムアウト(4分)を超過しデプロイ不能に陥った。
- 新規コンテナ起動時の全件相関再計算(19秒):
相関行列がキャッシュされておらず、コンテナがスケールアウトするたびに毎回19秒かけて全データを再計算していた(永続化により数ミリ秒へ短縮)。
- ビルドコンテキスト467MBの肥大化:
.dockerignore の不備により、手元のビルド時に大量の生データやキャッシュを毎回転送し、ビルド時間を著しく悪化させていた。
4. 本体修正と検証テストの行数比率
AIが引き起こすハルシネーションや不具合は、構文エラーにならず見た目上は動作するため見逃されやすい特徴があります。これらを修正・防止するために、修正本体の数倍〜十数倍の検証テストコードや静的監査スクリプトが必要となりました。
- データリーク修正:
- 予測ロジック本体の修正: 32 行
- 再発防止テスト・リーク監査ツールの追加: 573 行(比率: 17.9 倍)
- データ未配線の修正:
- 配線コード本体の修正: 129 行
- 実到達件数を検証するアサーションテストの追加: 193 行(比率: 1.5 倍)
5. 再発防止策: 公式Skillの適用と指示ルール
1. 開発タイミング別の推奨Skill(Claude Code / Antigravity)
| 開発タイミング |
推奨公式Skill / 機能 |
防止できる問題と効果 |
| 要件整理・設計時 |
Planning Mode / /grill-me |
曖昧な前提によるダミーロジック(idx % 6)の捏造や、分散環境でのDB排他制御の破綻を事前インタビューで排除。 |
| フロントエンド実装時 |
modern-web-guidance |
CSS Grid、セマンティックHTML、モダンダイアログを強制し、!important の乱用、スマホ横スクロール、標準ダイアログ多用を防止。 |
| バグ調査時 |
systematic-debugging |
原因特定前の当てずっぽうなコード書き換えを阻止。根本原因の特定、最小修正、副作用検証の4段階を遵守させる。 |
| 機能追加・テスト時 |
test-driven-development (TDD) |
失敗するテスト(Red)を先に書くことを強制。アサーションのない形骸化テストや未来参照テストを排除。 |
| コミット・PR作成前 |
Hooks / CI同等テスト |
CI環境と同等のテスト・静的監査スクリプトをフックで強制実行。未検証でのPR作成を物理的に遮断。 |
2. 分類・重要度別の具体的プロンプト指示ルール
プロジェクトの共通指示(AGENTS.md / CLAUDE.md)に含めるべき具体的なルールです。
予測機能(モデル・指標)
- Critical(未来参照防止):
- 特徴量抽出関数には
match_datetime または試合開始前時点のデータのみを渡し、確定スコア、最終順位、試合後スタッツへのアクセスを禁止する。修正後は必ずリーク監査スクリプトを実行し、試合結果との異常相関がないことを検証すること。
- 対戦カード照合時は、対戦名だけでなく開催日時の完全一致を必須条件とし、未開催カードに対して過去大会の結果を照合することを禁止する。
- Major(ダミー計算防止):
- 登録番号の剰余(
idx % 6)や固定値によるスコアリング関数の実装を厳禁とする。特徴量データが存在しない場合は、数値を捏造せず明示的な欠損値(NaN)または事前定義された補正値を適用すること。
- 過去データのないルーキー選手に対して、機械的に最低ランクを割り当ててはならない。初出場選手の全体分布に基づいた初期値を適用すること。
計算 & データパイプライン
- Critical(データ配線抜け防止):
- 新しいデータソースや実績テーブルを追加した際は、データファイルを配置するだけでなく、最終的な特徴量算出関数での実到達率(全対象選手に対する有効データの割合)をテストコードでアサーションすること。
- データパース時は、カラム数とデータ型の厳格なバリデーションを実装し、列ズレやヘッダ欠落が発生した場合は黙殺せず例外ログを残すこと。
パフォーマンス & リソース
- Critical(起動停止・I/O停止防止):
- Webアプリケーションの起動処理(ヘルスチェック完了前)に、全件DBスキャンや重い集計処理を含めてはならない。起動処理は5秒以内に完了させ、整合性確認はデプロイ前のCIで実施すること。
- 分散コンテナ環境から、ネットワークストレージ上の単一ファイルDBへ大量の一括書き込みを行ってはならない。更新処理はバッチ専用のワーカー基盤に分離すること。
- Major(キャッシュ永続化・ビルド肥大化防止):
- 新規コンテナ起動時に重い行列計算や相関集計をゼロから再計算してはならない。集計結果は事前に永続化テーブルにキャッシュし、数ミリ秒で読み出すこと。
- リポジトリにデータやキャッシュを追加する際は、必ず
.dockerignore を同時に更新し、ビルドコンテキストが肥大化しないことを確認すること。
UI・フロントエンド
- Major / Minor(CSS・UIアンチパターン防止):
- CSSにおける
!important の新規追加を厳禁とする。既存スタイルのセレクタ詳細度またはCSS変数を修正すること。
- ブラウザ標準のダイアログ(
alert / confirm)の使用を禁止し、共通UIコンポーネントを使用すること。
- モバイル解像度(幅375px)で意図しない横スクロールが発生していないことを自動UIテストで確認すること。
テスト & コード品質
- Critical / Major(形骸化テスト・デッドコード防止):
- テストコードには必ず検証対象の具体的な戻り値に対するアサーションを含めること。関数を実行して例外が出ないことだけを確認するテストを禁止する。
- リファクタリングや機能廃止によって不要となった関数・変数は放置せず直ちに削除し、定期的な静的解析で参照ゼロのコードを残さないこと。
対話・実行テレメトリ実測レポート
本レポートは、AIエージェントを用いた自律開発プロジェクト2026-09-06 〜 09-15 / 10日間)について、完全な実行トランスクリプト(全28,410ステップ)を解析し、ユーザーが入力したプロンプト数、AIの内部推論ターン数、実行されたツール・コマンドの内訳、Token In/Out、およびGitHubのPull Request差分には現れない水面下の活動データを体系的にまとめた実測記録です。
複数のAIエージェントによる作業を合算した総量として扱い、エージェント別の内訳は設けていません。
計測範囲についての但し書き(重要)
| 種別 |
範囲 |
性質 |
| 対話・トークン・ツール実行 |
記録が現存する2セッション分 |
合算値(セッションごとの実測を足し上げ) |
| Git 統計 |
2026-09-06 〜 09-15(全期間) |
既に全体値(合算してはならない) |
2点、読む前に押さえてください。
- Git の統計は合算できません。 コミット数・コード行数はリポジトリ全体の値であり、どのエージェントが書いたかを問わずすでに全作業を含んでいます。セッション側の数字と足すと二重計上になります。
- 対話ログには欠落区間があります。 開発環境がクラウド上の使い捨てコンテナのため、セッション終了時にトランスクリプトが破棄されます。2026-09-06 〜 09-10 の約4日間(50コミット分)は回収不能です。したがって以下のトークン値・実行回数は実際の総量の下限であり、真の値はこれより2〜3割大きいと見込まれます。
1. セッション実測サマリ(確定値・合算)
現存する全トランスクリプトログから直接算出し、合算した数値です。
| 指標 |
実測値(合算) |
算出根拠・詳細 |
| トランスクリプト総ステップ数 |
28,410 ステップ |
ユーザー入力、AI思考、ツール呼出、実行結果の全履歴 |
| ユーザープロンプト数(入力回数) |
358 回 |
ユーザーがチャットから送信した指示の総数 |
| AI内部推論・応答ターン数 |
5,300 ターン |
AIが思考・ツール呼出・回答を行った回数 |
| ツール実行・結果受信数 |
5,445 回 |
コマンドやファイル操作の実行完了ログ |
| ツール呼び出し総数 |
2,403 回 |
AIが実行した各種ツールの総呼出数 |
| プロンプトあたりの内部展開倍率 |
6.7 回 / プロンプト |
ツール呼出総数(2,403回) ÷ ユーザープロンプト数(358回) |
| プロンプトあたりの推論ターン倍率 |
14.8 ターン / プロンプト |
内部ターン数(5,300回) ÷ ユーザープロンプト数(358回) |
| シェルコマンド実行数 |
1,747 回 |
テスト実行、Git解析、データ検証、ファイル調査など |
| ファイル新規作成 |
48 回 |
スクラッチスクリプト、新規テスト、中間レポート、画像埋込など |
| ファイル部分修正 |
151 回 |
コード修正、ワークフロー更新、データパッチなど |
| ファイル閲覧・調査(専用ツール) |
48 回 |
ソースコード、ログ、HTMLフィクスチャの確認 |
| GitHub / リモート操作 |
248 回 |
PR作成・マージ・CI状態確認・CIログ取得など |
| タスク・非同期管理 |
76 回 |
バックグラウンドコマンドの実行監視、進行タスクの更新 |
| 計画の提示・承認(Plan Mode) |
13 回 |
実装着手前の計画提示と承認取得 |
| 画像生成 |
4 回 |
アーキテクチャ図およびダッシュボードUIの生成 |
| ファイル調査(シェル経由) |
延べ 1,307 回 |
cat / sed -n / grep / find / ls(シェル実行の内数) |
| 作成・修正したファイル数 |
延べ 90 ファイル |
延べ199回の書き込み・修正(セッション間の重複を含む) |
| 書き込み文字数(累積) |
208,488 文字以上 |
実際に投入したテキスト量(一方のセッションのみ計測) |
| 思考トークン(Thinking) |
1,128,189 トークン |
AI内部の推論プロセス。Token Out の 27.7% |
| 応答本文の文字数(Content) |
569,639 文字 |
ユーザーへの回答テキスト |
| 累積入力トークン(Token In) |
約 20.9 億 トークン |
実測下限 20.70億 + 未計測区間の推計 0.15〜0.20億 |
| 累積出力トークン(Token Out) |
4,068,049 トークン |
思考・修正コード・回答生成 |
利用料について: 一方のセッションは従量課金(該当区間で約20円)、もう一方は定額プランで
トランスクリプトに課金額が記録されていません。全体の金額は算出できないため記載しません。
1-1. Token In の読み方(誤解を避けるために)
「20.9億トークン」は20.9億語を読んだという意味ではありません。
- これは同じ文脈を約5,300回読み直した結果の累計です(1ターンあたり平均 約39万トークン)
- そのうち 98.9% はプロンプトキャッシュからの読み出し
- 実質的に新規処理されたのは キャッシュ書き込み 2,355万トークン
AIエージェントは1回コマンドを実行するたびに、リポジトリのルール(AGENTS.md / CLAUDE.md)、これまでの会話全履歴、直前に実行した数百〜数千行のコマンド標準出力を、すべてプロンプトコンテキストとしてモデルへ再入力します。この構造がTokenInを桁違いに押し上げます。
2. ツール別呼び出し内訳(合算)
AIエージェントが自律的に実行した2,403回のツール呼び出しを、機能別に分類した内訳です(エージェントによってツール名が異なるため、名称ではなく役割で束ねています)。
コマンド実行(シェル) : 1747 回 (72.7%) ■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■■
GitHub / リモート操作 : 248 回 (10.3%) ■■■■■
ファイル部分修正 : 151 回 ( 6.3%) ■■■
タスク・非同期管理 : 76 回 ( 3.2%) ■■
ファイル新規作成 : 48 回 ( 2.0%) ■
ファイル閲覧 : 48 回 ( 2.0%) ■
通知の確認 : 34 回 ( 1.4%) ■
ツール検索 : 25 回 ( 1.0%) ■
計画の提示・承認 : 13 回 ( 0.5%)
画像生成 : 4 回 ( 0.2%)
Web 取得 : 4 回 ( 0.2%)
コード検索・一覧 : 2 回 ( 0.1%)
その他 : 3 回 ( 0.1%)
----------------------------------------------------------------------
合計 : 2403 回 (100.0%)
AIの活動の約7割(1,747回)をシェルコマンドの実行が占めています。コードを書くだけでなく、「手元環境でのテスト実行」「Gitログの解析」「データパースの検証」「ファイル構造の調査」といった調査・検証に最も多くの回数が費やされています。
「コードを書く行為」(ファイル新規作成48回+部分修正151回=199回)は、全ツール呼び出しの 8.3% にすぎません。
2-1. シェルコマンド1,747回の中身
| 用途 |
回数 |
備考 |
| ファイルを読む・探す |
1,307 |
実行の大半が調査。grep / cat / sed -n / find |
| テスト実行 |
324 |
unittest / ci_like_test.sh |
| git 操作 |
249 |
履歴解析、差分確認、コミット、push |
| 監査スクリプト |
138 |
リーク検査、分位点計測、plan 検証 |
| UI 自動検証 |
136 |
Playwright によるレイアウト基準との突き合わせ |
| terraform |
71 |
fmt / validate / init |
(1コマンドが複数分類に該当するため合計は一致しません。また上表は計測できた区間のみ)
3. Git 実測値(全期間・既に全体値)
この節の数字は合算していません。 リポジトリ全体の値であり、すべてのエージェントと人間の作業をすでに含んでいます。
| 項目 |
実測値 |
| コミット総数 |
263 |
| Pull Request |
67 本 |
| 期間 |
10 日間(2026-09-06 〜 09-15) |
| CI(デプロイパイプライン)実行回数 |
105 回 |
263コミットのうち196はPRのタイトルになっていません(PR本文の中に埋もれています)。
3-1. 種類別の増減
| 種類 |
追加行 |
削除行 |
ファイル数 |
| データ(収録JSON・DATA) |
8,597,947 |
532,619 |
5,529 |
| コード(本体・スクリプト・CI・IaC) |
58,006 |
15,789 |
121 |
| テスト用の基準データ(fixtures) |
20,175 |
2,273 |
7 |
| テストコード |
14,587 |
394 |
63 |
| ドキュメント(.md) |
9,966 |
3,184 |
24 |
| その他 |
325 |
437 |
11 |
データ860万行は結果を取り込んだJSONであり、1行ずつ書いたものではありません。人とAIが書いたのはコード側です。
3-2. 書いた量と、残った量
コード + テスト + 文書で書いた行 : 82,559 行
消した行 : 19,367 行
---------------------------
いま残っている行 : 56,055 行
差の約2.6万行は、書いたあとに書き直した分です。さらに、コミットに至らず消えたスクラッチコード(第4章-2)はこの数字にすら含まれません。
3-3. 現在のコードベース構成
| 場所 |
行数 |
backend/ (.py) |
17,740 |
tests/ (.py) |
14,193 |
frontend/ (.js/.css/.html) |
13,962 |
scripts/ (.py/.sh) |
5,568 |
terraform/ (.tf/.sh) |
1,390 |
.github/workflows/ (.yml) |
751 |
| 合計(データ除く) |
56,055 |
テストコードが本体(backend)の80% あります。これは「壊れたことに気づけない変更」を最も高くつく失敗と位置づけ、検証手段を先に作る運用にした結果です。
4. GitHub Pull Requestに現れない「5つの水面下活動」
GitHubのコミット履歴やPRの差分には、最終的に完成したコードしか記録されません。しかし、その背後にはPRの数十倍の活動が存在しています。
1. 1プロンプトあたり15倍に膨らむ内部推論
ユーザーが入力した指示は358回ですが、AIはその背後で2,403回のツール呼出と5,300ターンの内部推論を行いました。
2. リポジトリに残らない使い捨てスクラッチコード
PRにマージされる本番コードの裏で、検証のためだけに書かれて消えていったスクラッチスクリプトが大量に存在します。
- 実例:
- PR差分とコミットログの行数を抽出・分類する集計スクリプト
- GitHub Issue 登録用の中間ドラフト、再発防止策コメントの作成バッファ
- Shift_JIS / cp932 のエンコーディング判定、正規表現パーサの検証コード
- トランスクリプトのトークン集計スクリプト(本レポートの数字を出したもの)
- 依存ライブラリを「無い状態」に見せかけるスタブ(CI環境の失敗を手元で再現するため)
- 外部CLIが「有る状態」に見せかけるスタブ(環境差による画面崩れを再現するため)
- コミットされない一時コードは、記録の残る範囲だけで4,000行以上が生成・実行されました。
3. テスト失敗(Red)から成功(Green)に至る試行錯誤と自動自己修復
PRのコミットには修正後の成功コードしか残りませんが、その直前には多数の失敗と自己修復が行われています。
- 実例:
- 認証ファイルの誤コミット: CIが作業領域に書き出した認証トークンファイルを
git add -A が拾ってpushしてしまった事故を検知。commit amend → force push → .gitignore 追加 → git add -A の廃止 → 想定外ファイルで停止するガード追加、まで自律的に実施
- サンドボックスのTLS証明書検証エラー(exit code 1)を検知し、コマンドを再構成して成功させた履歴
- クラウド権限の誤認を3回目で解決: 「このロールなら読めるはず」→403、「このロールに権限が含まれるはず」→403。2回とも記憶で断定して外したため、3回目に実測コマンドで権限一覧を数える方式へ切り替え、必要最小の2権限だけのカスタムロールを作成して解決
- 自分が追加したテストが本番ブランチを赤くした: CIには入っていない依存を使ったため失敗。依存を使わない実装に書き換え、スタブで失敗状態を再現して検証
- データ配線抜けの修正時、対象データが全頭に届くまでテストを繰り返し回して修正を重ねたプロセス
4. 桁違いに膨大な「Token In(コンテキスト入力トークン)」
AIの課金やリソース消費の大部分は、出力(Token Out)ではなく入力(Token In)が占めています。
- 実測: 1ターンあたり平均 約39万トークンの入力
- 全体で 約20.9億トークンが入力としてモデルを通過(出力の 約514倍)
- ただしその 98.9% はプロンプトキャッシュからの読み出しであり、新規処理は2,355万トークン
当初の事前推計では「1ターンの入力は3万〜10万トークン」と見積もっていましたが、実測は約39万トークンでした。長時間セッション・大規模コンテキスト・キャッシュ併用の組み合わせにより、推計より1桁大きいという結果です。
AIエージェント開発のコスト構造を見積もる際、Token In の過小評価が最大の落とし穴になります。
5. ローカルテスト・環境検証の膨大な実行ログ
CI(GitHub Actions)のデプロイパイプラインは105回実行されていますが、その手前のローカル環境では、コミット前の事前検証が記録の残る範囲だけで460回(テスト324回+UI検証136回)実行されています。
PRには「CIが通った」という緑チェックしか残りませんが、その手前で数千回分の標準出力ログがAIによって検査・消費されています。
加えて、CIの状態確認とログ読みだけで101回のAPI呼び出しが行われています。「緑になったはず」で済ませず、毎回ログを開いて確認した回数です。実際、3回続けてデプロイジョブがスキップされていたのに気づけなかったという失敗が過去にあり、この確認習慣はその再発防止として定着したものです。
5. 総括 —— この10日間で起きたこと
| 問い |
答え |
| 人間が出した指示 |
358 回(記録が残る範囲) |
| AIが行った内部推論 |
5,300 ターン(指示1回あたり14.8倍) |
| AIが実行したツール |
2,403 回(うち72.7%がシェルコマンド) |
| そのうち「コードを書く」行為 |
199 回(8.3%) — 残り91.7%は調査・検証・確認 |
| モデルが読んだ入力 |
約 20.9 億トークン(98.9%はキャッシュ読出) |
| モデルが書いた出力 |
406.8 万トークン(うち思考 112.8 万=27.7%) |
| 書いたコード |
82,559 行(データ除く) |
| 消したコード |
19,367 行 |
| 残ったコード |
56,055 行(うちテスト 14,193 行) |
| 成果物 |
263 コミット / 67 PR / CI 105 回、本番稼働中 |
最も示唆的な数字は「コードを書く行為が全活動の 8.3%」である点です。AIエージェントによる開発の実態は「コード生成」ではなく、その9割以上が調査・検証・確認に費やされています。Pull Request に現れるのは、この氷山の一角である最終成果物だけです。
付録: 数字の取り方
集計方法
| データ |
取得方法 |
| トークン・ターン数 |
トランスクリプト JSONL の応答行に含まれる usage 情報を集計。同一API呼び出しの重複を除去 |
| ユーザープロンプト数 |
ユーザー行のうち、ツール実行結果の差し戻し・システム通知を除いた純粋な発話のみ |
| ツール呼び出し |
応答行の tool_use ブロックを集計。エージェント間でツール名が異なるため役割別に分類 |
| シェルコマンドの用途分類 |
コマンド文字列の正規表現マッチ(1コマンドが複数分類に該当しうる) |
| Git 統計 |
git log --numstat をパス・拡張子で分類 |
| 現在の行数 |
git ls-files からデータ系ディレクトリを除外して wc -l |