Claudeの4モデルで同じ広告レポートを作らせた｜比較実験ノート
文・編集：ワークデイズ合同会社
AIのモデルを選ぶとき、「一番賢いものを選べば安心」と考えていないでしょうか。私たちはその思い込みを確かめるために、ふだん本番で使っている月次広告レポートの自動生成パイプラインに、Claudeの4つのモデル——Fable 5・Opus 4.8・Sonnet 5・Haiku 4.5——を載せ替えて、同じレポートを独立に4本作らせてみました。
結果を先に言うと、「賢いモデルほど上」という単純な序列にはなりませんでした。その代わりに見えたのは、モデルごとの癖です。この記事は、その実験の中身（スコアカード・スライド別の差・欠陥の内訳・比較の限界）をそのまま公開する実験ノートです。実験から引き出した運用の結論は、姉妹記事AIレポートの精度は“モデル選び”でなく仕組みで決まるにまとめています。
実験の設計：モデル以外を全部そろえる
比較でいちばん大事なのは、差が出る要因をモデルだけに絞ることです。今回は、単発のチャットにお題を投げたのではなく、すでに本番で毎月使っている自動生成の仕組み（データを機械集計するパイプライン・スライドのテンプレート・数値の出所をセル単位で照合する「数値ゲート」）に、モデルだけを載せ替えて4回走らせました。
パイプラインが自動で取り込むデータは、事業計画（年間目標）・前月の振り返り・各媒体（Google／Meta／TikTok／SmartNews）の数値・アクセス解析・広告ツールのデータ・広告代理店の定例報告・打ち合わせの議事録です。この入力とテンプレートと検算のしくみが全モデル共通なので、4本の出力の差は「分析の深さ・独立性・月替わりの丁寧さ」に絞られます。
- 対象：ある健康食品・サプリメント系のお客様の月次広告レポート（スライド17枚）
- 実施：2026年7月7日。4モデル並列で約15分。費用は作業用サブスクリプションの範囲内
- 採点：17枚×4モデル＝68枚ぶんの出来を、最上位モデルの Fable 5 が採点（この設計自体の限界は後述します）
スコアカード：合否と評価の分布
まず機械的な合否から。数値ゲート（レポート上の数字がすべて集計結果に紐づいているかのセル単位照合）と、月替わりの引き継ぎ（表紙の対象期間・累計範囲などが今月分に更新されているか）です。
| モデル | 数値ゲート | 月替わり | 欠陥数（17枚中） |
|---|---|---|---|
| Fable 5（基準） | 合格 | 完全 | 0 |
| Opus 4.8 | 合格 | 完全 | 0 |
| Sonnet 5 | 合格 | 完全 | 0 |
| Haiku 4.5 | 不合格（出所不明27件） | 取りこぼし | 7 |
次に、スライド1枚ごとの評価（◎＝特に良い〜✕＝誤り）の分布と、各モデルが自己申告した「目標達成の確度」です。
| モデル | ◎ | ○ | △ | ✕ | 達成確度（自己申告） |
|---|---|---|---|---|---|
| Fable 5（基準） | 5 | 12 | 0 | 0 | 15% |
| Opus 4.8 | 10 | 7 | 0 | 0 | 25% |
| Sonnet 5 | 12 | 5 | 0 | 0 | 30% |
| Haiku 4.5 | 0 | 5 | 6 | 6 | 65% |
面白いのはここです。◎の数は Sonnet 5（12）＞ Opus 4.8（10）＞ Fable 5（5）と、モデルの“格”の逆順でした。Fable 5 は体系上いちばん上位のモデルなのに、分析の鋭さの評価では中位。一方で欠陥ゼロ・ガバナンス最安定・過去の修正指示の引き継ぎが最良で、総合では1位です。さらに達成確度の自己申告は Fable 15％ ＜ Opus 25％ ＜ Sonnet 30％ ＜ Haiku 65％。悪化局面のレポートで65％と言い切った Haiku 4.5 がいちばん楽観的で、上位モデルほど慎重でした。一発の鋭さと、慎重さ・安定性は、別の軸なのです。
スライド別に見えた、4モデルの“癖”
17枚のうち差が出た主要8ページの評価を、まず一覧で（✕はエラー。素材IDは仮名、一部の数値・名称は丸め/一般化しています）。
| # | スライド | Fable 5（基準） | Opus 4.8 | Sonnet 5 | Haiku 4.5 |
|---|---|---|---|---|---|
| 1 | 表紙・重要テーマ | 谷か失速かを問う良問 | 疲弊で計画割れ→立て直せるか | Meta効率悪化を世代交代で払拭できるか | ✕対象期間・作成日・テーマが5月版のまま |
| 3 | 到達度 | 二層（単月未達／年度貯金）◎ | 「訴求劣化でなく在庫切れ」と最精緻 | 良。やや楽観（立て直し進行中） | ✕年度累計が期首月抜け・参考値も誤り |
| 4 | 照合5軸 | 5軸バランス・「疲弊だけでは説明不足」 | ◎の意味の脚注が秀逸・上振れの癖を指摘 | 月間平均vs直近の切り分けが最鋭・第2の柱の未規模化を指摘 | ✕代理店の回復説明を追認・5月版メッセージ残存 |
| 6 | 要因分解 | 正確（維持閾値を適用） | 「平均が後半の急落を覆い隠す」を独立発見 | 同じ発見＋CVRを2段分解 | ✕CTRを主因と誤診・CPM表記も乱れ・所見が5月版丸ごと |
| 9 | 世代管理 | 主力をa005に更新・CVR焦点 | 「疲弊は購入率に出る」と的確 | a001／a002／a003の“同一絵柄三重投入”を独立発見 | ✕「CVR回復で持続可能性↑」と逆評価・表記ミス |
| 10 | 解剖 | 要素9分類で最も粒度が高い | 部品5分類・LP接続まで | a004を「実写×手元」と命名し小標本を留保 | 所見が5月版ほぼ流用 |
| 12 | 7月速報 | CVR警告・射程外を明示 | 「当方はより慎重に見る」と独立姿勢 | 試算→確度30%の根拠連結が最も明快 | ✕CVR急落に触れず「好調を期待」・見込み件数を誤用 |
| 14 | 提言 | CVR原因特定を件数より優先 | 媒体CPAと実CV単価の乖離の指摘が独創的 | 提言IDを正しく運用・主力モチーフ以外の勝ち筋育成 | 「疲弊-回復サイクルの短期化」＝対症療法どまり |
このうち特に差が大きかったページを、深掘りします。
表紙・重要テーマ（1枚目）：問いの立て方から違う
同じデータから「今月の重要テーマ」を立てさせると、Fable 5 は「谷か、失速か」を問う形に、Opus 4.8 は「疲弊で計画割れ→立て直せるか」、Sonnet 5 は「Meta効率悪化を世代交代で払拭できるか」と、切り口がそれぞれ違いました。どれも成立していますが、Haiku 4.5 だけは対象期間・作成日・テーマが前月（5月版）のままでした。
目標との照合（3〜4枚目）：精緻さの勝負
年間計画との照合では、Fable 5 が「単月未達だが年度累計は貯金あり」と二層で整理。Opus 4.8 は「訴求の劣化ではなく在庫切れ」という原因の切り分けが最も精緻で、評価記号の意味に脚注を付ける丁寧さも見せました。Sonnet 5 は「月間平均と直近の切り分け」が最も鋭く、第2の柱がまだ規模化していないことへの指摘も踏み込んでいます。Haiku 4.5 は、広告代理店の「持ち直している」という説明を検証せずに追認しました。
要因分解（6枚目）：2つのモデルが独立に同じ発見
CPA（1件あたりの獲得単価）悪化の要因分解では、Opus 4.8 が「月間平均が後半の急落を覆い隠している」ことを自力で発見。そして Sonnet 5 も、互いの出力を見ていない独立の試行で同じ発見に到達し、さらにCVR（購入率）を2段に分解して見せました。同じ罠を複数のモデルが独立に指摘してきたら、それは偶然ではなく、そこに本当に何かがある——独立した試行は、発見の「検証装置」としても使えるということです。
クリエイティブ分析（9〜10枚目）：名指しの解像度
広告素材の分析では Sonnet 5 の解像度が光りました。主力とされていた3つの素材ID（a001・a002・a003）が実は同一の絵柄を形式違いで3回投入したものだと突き止め、「実質2系統」で止めずに3体目まで名指ししました。また、成績の良い新素材（a004）を「実写×手元」と命名しつつ、配信量が少ない段階では単月で判断しないと留保を付けています。良い数字に飛びつかない姿勢です。Opus 4.8 は「疲弊は購入率に出る」という着眼、Fable 5 は訴求要素を9分類する最も細かい整理で応じました。
速報と提言（12・14枚目）：独創と姿勢
翌月の速報ページでは、Sonnet 5 が試算から達成確度30％への根拠のつなぎ方が最も明快。Opus 4.8 は「当方はより慎重に見る」と、自分の独立した姿勢を表明しました。提言ページでは、Opus 4.8 がGDN（Googleのディスプレイ広告）の媒体計測CPA（約1.6万円）と、実受注ベースのCV単価（約3.6万円）の乖離を取り上げました——媒体の管理画面では「効率化に成功」に見える数字の裏で、実際の受注への効率はその倍以上悪い。この乖離のデータ自体はパイプラインが全モデルに渡していた情報で、4本とも見られたはずのものです。それを「入口の指標と出口の指標のずれ」として、わざわざ提言に格上げして書いたのは Opus だけ。他の3本は触れませんでした。
そして Haiku 4.5 は17枚中7枚に欠陥：全部“地味”
唯一数値ゲートに落ちた Haiku 4.5 の欠陥は、派手な計算間違いではありません。表紙が5月版のまま・年度累計から期首の1か月が抜ける・悪化した指標を「回復傾向」と逆に評価・前月所見の使い回し・代理店の説明を無検証で追認・月末の急落に触れず「好調を期待」と締める——すべて月替わりの取りこぼしと、鵜呑みの類です（AIの示唆を鵜呑みにしない受け取り方はAIに広告運用を任せる＝“育てる”で書いたとおりです）。なお数値ゲート不合格（出所不明27件）の根本も、素材の略称が管理台帳に未登録で照合が働かなかったという、仕組み側の抜けでした。AIの失敗は事件の形ではなく、手抜きの形をしてやってくる。この観察は、モデルを問わず点検の仕組みを置くべき理由でもあります（詳しくは姉妹記事へ）。
この比較の限界も、そのまま書いておく
実験ノートとして、都合の悪い注記も残します。
- 採点者もお手本も Fable 5：出来を採点したのも、手本となる基準資料を作ったのも Fable 5 です。採点者が自分の流儀に近い出力を高く評価する循環的な偏りは否定できません。
- 達成確度は自己申告：確度の数字はモデル自身の申告値で、的中率を検証したものではありません（もっともらしく慎重に書けるモデルほど良く見える、という循環のリスクがあります）。
- 1つのタスク類型での結果：今回は「定型・検算あり・ガバナンス重視」のレポート業務です。自由度の高い探索的な分析で同じ序列になるとは限りません。
実験を受けて、私たちのモデル運用はこう変わった
もともと私たちは Opus を中心に使ってきました。今回の実験で、Sonnet 5 の切り分けの鋭さと留保の付け方が非常に優秀だと分かったので、Opus をメインにしつつ、Sonnet を場面に応じて併用する使い分けに変えています。ちなみに4モデルの並列実行にかかったのは約15分・費用はサブスクリプションの範囲内なので、この種の「自社のお題での模擬試験」は、月次業務の合間に十分回せます。
自社で試すなら、条件は2つだけです。同じお題・同じ材料を渡すこと（条件が揃わない比較は、癖ではなく偶然を見てしまう）。そして、互いの出力を見せずに独立で作らせること（独立した試行が同じ結論に到達したら、それは信じてよいシグナルです）。
まとめ
4モデルに同じレポートを作らせて分かったのは、モデルには序列より先に性格があるということでした。構造化と安定の Fable 5、独創と慎重な独立姿勢の Opus 4.8、切り分けの鋭さと留保の Sonnet 5、そして点検の仕組みなしでは使えない Haiku 4.5。どれが良いかは、任せる仕事の性質で変わります。
そして、この実験がいちばん教えてくれたのは「どのモデルを選んでも、品質を底上げする仕組みのほうが効く」ということ——その本編は、AIレポートの精度は“モデル選び”でなく仕組みで決まるに書きました。あわせてどうぞ。