AIレポートの精度は“モデル選び”でなく仕組みで決まる

同一のデータ・同一のテンプレートを与えて、Claudeの4つのモデルに同じ月次広告レポートを独立に作らせる実験をしました。分かったのは、賢いとされるモデルほど上位になる、という単純な話ではなかったということです。複数の数字を一つの平均にまとめた瞬間に実態が消えてしまうこと、そして本番の品質を決めるのはモデルの賢さではなく、壊れずに前回までの学びを引き継げる仕組みだということ。実際の数字とともに、私たちが直した中身を書きます。

同じ条件で、Claudeの4モデルにレポートを作らせてみた

ある健康食品・サプリメント系の顧客への月次広告レポートを、条件をそろえた上でClaudeの4つのモデル——基準の Fable 5・Opus 4.8・Sonnet 5・Haiku 4.5——に独立して作らせ、出力を比較しました。単発のチャットにお題を投げたのではなく、本番で毎月使っている自動生成のパイプラインに、モデルだけを載せ替えて走らせています。

固定したのは、データのスナップショット・スライドのテンプレート・そして数値ゲート（各数字の出所をセル単位で機械照合するしくみ。AIの数字はなぜ間違うかで書いた考え方をそのまま条件にしています）の3つです。この3つをそろえておけば、4本の出力の差は「分析の深さ・独立性・月替わりの丁寧さ」に絞られるはずだと考えました。

結果は、単純な序列にはなりませんでした。

モデル	結果
Fable 5（基準）	総合1位（欠陥ゼロ・出所検証と引き継ぎが最安定）。ただし分析の鋭さの評価は中位
Opus 4.8	欠陥ゼロ。分析の鋭さの評価は基準より上
Sonnet 5	欠陥ゼロ。分析の鋭さの評価は4本で最上位
Haiku 4.5	唯一の不合格。出所の分からない数字が27件、17枚中7枚に欠陥

スコアカードとスライド別の生の評価は、比較実験ノートにすべて公開しています。

発見1：性質の違う媒体を、「1つの数字」で見ていた

まず、私たちが何をやってしまっていたか、から説明します。

広告は、Meta（SNS広告）・ディスプレイ広告・検索広告のように、性質のまるで違う媒体を組み合わせて運用します。見るべき指標も媒体ごとに違います（クリック率、クリック単価、表示単価……）。ところが月次のレポートでは、その全部を合算した「全体」の数字を見ていました。つまり、性質の違う複数の媒体を、1つの媒体であるかのように扱っていたのです。

その合算が何を隠すか。ちょうどこの月、主力のMetaと、第2の柱のディスプレイ広告が、逆方向に動いていました。

媒体	この月の実態
Meta（主力）	表示単価（CPM）が上がり、獲得単価（CPA）も悪化
ディスプレイ広告（第2の柱）	表示単価が下がり、獲得単価も改善
合算した「全体」	表示単価（CPM）は「+19%」の一本の数字

合算の「+19%」から読み取れることは、ほとんどありません。Metaの不調の深刻さも、ディスプレイの好調も、この一本の数字には写っていない。性質の違うものを合算した数字で判断すると、手を打ち間違えます。

発見2：月の「平均」が、後半の急落を隠していた

同じことが、時間の軸でも起きていました。今度は「媒体の合算」ではなく「期間の平均」です。

見方	購入に至った割合	見え方
月全体の平均	1.06% → 1.09%（前月→当月）	ほぼ横ばい。「問題なし」に見える
月の後半（20日以降）だけ	33.7% → 15.6%（半分以下に）	急落していた

※下段は「サイトに来た人のうち、購入した人の割合」。分母が違うため、上段と数字の水準も違います。

月全体の平均だけを見れば「維持できている」。ところが後半だけを切り出すと、半分以下への急落が起きていました。前半の好調と後半の急落が、平均の中で混ざって打ち消し合っていたのです。

この2つ、誰が気づいたかにも差がありました。媒体軸の発見は私たちが自分で数字を見て気づいたものでしたが、時間軸のこのパターンは、Opus 4.8 と Sonnet 5 が互いに独立に、自力で指摘していました。互いの出力を見ていない試行が同じ結論に到達したなら、それは偶然ではない——独立した複数の試行は、発見の「検証装置」としても働きます。

直したのは、モデルではなく「見る軸」

この2つの発見を受けて、私たちが直したのはモデルの選び方ではなく、数字を見る軸でした。

獲得単価（CPA）を「表示単価・クリック率・購入率」の3つの部品に分解し、媒体別に出す設計に変更しました。データ自体はすでに集計の中に媒体別の月次数値として存在しており、大きな新規計算は不要でした。

さらに、広告代理店が定例で出してくる資料も、もともと媒体別（主力・第2の柱それぞれの月次・週次）で報告されていたことに気づきました。それを自分たちの側で全体に丸めてしまい、相手がすでに出していた情報をむしろ捨てていたのです。

「平均」という言葉が出てきたら、まず何を足して何で割ったかを疑う——これを、複数の媒体・複数の期間を扱うすべての分析の標準手順にしました。

媒体別・時期別に数字を割って見ること自体は、AIが無くてもできる分析です。今回AIが加えたのは、4つの独立した試行を同時に走らせ、同じ見落としを複数の角度から炙り出せたことでした。

総合1位は、いちばん「賢い」モデルではなかった

もう一つ分かったのは、本番の品質を決めるのはモデルの賢さそのものではなく、壊れずに前回までの合意事項を引き継げる一貫性だということです。

総合1位になったのは基準の Fable 5 でした。体系の中では最上位クラスにあたるモデルなのに、分析の鋭さだけを見た評価では中位——それでも総合1位になった理由は、欠陥がゼロで、数値の出所検証などのガバナンスが最も安定しており、過去の修正指示を継続して反映できていたことでした。

一方、数値ゲートに落ちた Haiku 4.5 の欠陥は、派手な計算間違いではなく、地味な取りこぼしの積み重ねでした。

• 表紙の対象期間が前月のままだった（月替わりの反映漏れ）
• 悪化した指標を「回復傾向」と、実態と逆に評価していた
• 前月の所見を、ほぼそのまま流用していた
• 広告代理店の「新しいクリエイティブ（広告に使う画像や動画などの素材）で持ち直している」という説明を、検証せずに追認していた
• 年度累計の集計から、期首の1か月分が抜けていた
• 月末に向けた急落に一切触れず、楽観的な文言で締めていた

根本原因は2つでした。クリエイティブの略称が管理台帳に登録されておらず、数値の出所を機械的に照合するしくみが働かなかったこと。そしてもう一つは、前月からの月替わり要素（表紙の対象期間・累計の対象範囲など）を引き継ぐ手順が守られていなかったことです。

評価そのものの限界も、正直に書いておきます。出来を採点したのも、手本となる基準資料を作ったのも Fable 5 自身です。採点者が自分の流儀に近い出力を高く評価する、循環的な偏りは否定できません。そして今回分かったのは「定型的でガバナンスを重視するこの種のレポート業務では」という範囲の話であり、もっと自由度の高い分析にそのまま当てはまるとは限りません。こうした限界の一覧も含め、実験の生データは比較実験ノートに公開しています。

だからこそ、私たちが資産にしたのは「どのモデルが一番賢いか」ではなく、「どのモデルを使っても品質を底上げできる手順」でした。媒体×時間軸で数字を割って見ること、月替わりの要素を引き継ぐ手順を仕組み化すること——これらを標準の手順として明文化し、モデル選びに依存しない設計にしています。AIの示唆をそのまま信じず確からしさで層に分けて扱うという考え方は、AIに広告運用を任せる＝“育てる”にも書いています。

明日からできる2つのこと

自社の月次レポートにこの考え方を取り入れるなら、まずこの2つからです。

1. 「全体」の数字を見たら、必ず媒体別・期間別に割ってから信じる：「平均」という言葉が出た瞬間に、何を足して何で割ったかを確認する習慣をつけます。
2. AIにレポートを作らせるなら、モデル選びより先に機械的な点検を1つ用意する：たとえば次のような項目です。

チェック項目	確認すること
出所照合	載っている数字はすべて集計結果に紐づいているか（AIの推測が紛れていないか）
月替わりの引き継ぎ	表紙の対象期間・累計の対象範囲は今月分に更新されているか
略称・素材IDの登録	新しいクリエイティブの略称が管理台帳に登録されているか
所見の使い回し	前月の所見をそのまま流用していないか

これだけでも、モデルを何にするか迷う時間より、確実に品質は上がります。

まとめ

Claudeの4つのモデルを比べて分かったのは、賢いモデルを探すことより、平均に頼らず軸を割って見ること、そして壊れない仕組みを用意することの方が効く、ということでした。

私たちは、お客様にお勧めするやり方を、まず自分たちの月次レポートで試し、つまずきながら確かめています。次にAIモデルが新しくなったときも、同じ手順が効くかどうかを、また正直に検証していきます。