P(beat)で機械学習を超える — Meta広告クリエイティブの1位はいつ差し替えるべきか？

Soulpapamarketing（ソウルパパマーケティング）のブランディング&マーケティングの話。

広告費の少ないブランドがMeta広告のクリエイティブを選ぶときによくやってしまう失敗があります。直近2週間のROASが最も高いクリエイティブを、そのまま1位に据えることです。数字が高いので正しい判断に見えます。しかし予算が小さいほど、その数字はクリエイティブの実力より運に大きく左右されます。

私たちは毎週クリエイティブを判定するとき、ROASの順位をそのまま使いません。別に計算している数字があり、社内ではP(beat)（ピービート）と呼んでいます。この記事では、P(beat)とは何か、どう計算するのか、入れ替えの基準をどこに置くのかを、実際の運用コードとバックテストの数値のまま整理します。

低予算のMeta広告でROAS 1位のクリエイティブが錯覚になる理由

1日に2〜3万ウォンを使うクリエイティブは、1日の購入が0件か1件です。その日のROASも0%か、数百%のどちらかに分かれます。こうした日が2週間積み重なると、ある日に大口の注文が1件入ったクリエイティブが、2週間の合計では1位になります。その1件を除けば、平凡なクリエイティブであってもです。

複数のクリエイティブの中から数字が最も高いものを選ぶという行為そのものも、過大評価を生みます。クリエイティブごとの成果にノイズが混ざっていると、1位に選ばれたクリエイティブは大抵、ノイズが上に振れたものです。個々の測定が正確でも、選んだ結果は実際より良く見えてしまいます。推薦・広告システムの研究でも、予測値が最も高い対象を選ぶと同じ偏りが生じることが指摘されています（arXiv 2205.09809、ICLR 2023）。クリエイティブが多く、サンプルが小さいほどこの偏りは大きくなります。

Metaの機械学習にも同じ問題があります。セット内でMetaは、コンバージョン単価が最も低くなると予測したクリエイティブに配信を集中させますが、運用期間が短いクリエイティブほどその予測はばらつきます。低予算のアカウントでは、この予測が安定する前に人間が判断を下す必要があることが多いのです。P(beat)は、Metaが集中させた結果をそのまま信じず、実際の日別成果でもう一度ふるいにかける仕組みです。

そのため低予算のアカウントでは、ROASがどれだけ高いかは問いません。このクリエイティブが今の1位を本当に上回っているかを問います。

P(beat)とは何か、名前はどこから来たのか

Pは確率（Probability）、beatは「勝つ」です。Googleが運営していたA/Bテストツール「オプティマイズ（Google Optimize）」は、実験結果の画面に「probability to beat baseline」、つまりベースライン（既存案）より優れている確率を表示していました。P(beat)はこの概念から名前をとっています。

違いは2点あります。比較の基準を既存案ではなく、今のキャンペーンの1位クリエイティブに置きます。また計算も、オプティマイズのベイズモデルではなく、日別データを抽出し直すブートストラップ方式を使います。簡単に言えば、P(beat)は日付の組み合わせを変えても、比較対象が1位に勝つ割合です。高いほど、その勝利を運だけで説明しにくくなります。ただし95%だからといって、95%の確率で当たるわけではありません。実際にどれだけ当たったかは、下のバックテストで確認します。

P(beat)の計算方法: 14日分のデータを2,000回抽出し直す

実際の2週間は1度しかありません。そこで14日分をシャッフルして、こう流れていたかもしれない2週間を複数作ってみます。これを「仮の2週間」と呼びます。計算は4段階です。

1. 1位のクリエイティブと比較対象のクリエイティブの、直近14日分の日別広告費と購入売上を取得します。
2. 14日の中から日付をランダムに14回抽出し（同じ日が複数回選ばれることも、まったく選ばれない日も出ます）、仮の2週間を1つ作ります。これを2,000回繰り返して、仮の2週間を2,000個作ります。
3. 仮の2週間ごとに、2つのクリエイティブのROASをそれぞれ計算します。このとき2つのクリエイティブには、まったく同じ日付の組み合わせを使います。
4. 仮の2週間2,000個のうち、比較対象のROASが1位を上回った割合がP(beat)です。

3で2つのクリエイティブに同じ日付を使うのは、公平に比較するためです。チュソク連休、給料日、競合のプロモーションなど、市場全体が揺れた日がある場合、2つのクリエイティブが同じ影響を受けてこそ公平な比較になります。一方のクリエイティブは給料日だけ、もう一方は平日だけが抽出されてしまうと、比較は意味をなしません。

仮の2週間のROASは、日別ROAS14個の平均ではなく、売上合計 ÷ 広告費合計で求めます。広告費が少なかった日のROASは0%や900%のように極端に振れるため、平均するとそうした日が数字を揺らします。合計で割ると、お金をたくさん使った日の結果がその分だけ反映されます。データが5日分未満の場合は確率を信用しにくいため、判定しません。

この方式が運を取り除く仕組みは単純です。大当たりした日は、仮の2週間2,000個のうち多くで抽出されません。その日のおかげで勝ったクリエイティブは、その日を欠いた仮の2週間では大半が負けます。毎日少しずつ売れたクリエイティブは、どの日が抜けても結果がそれほど変わりません。

例で見るP(beat): 2週間のROASは似ているのに、結果は正反対

説明のために作った例のデータです。客単価39,000ウォンの商品を販売するキャンペーンに、クリエイティブが3つあります。上記の計算方法をそのまま当てはめた結果です。

ROASだけを見ると、A（363%）とB（418%）はどちらも1位（277%）よりはるかに良く見えます。しかしAは、注文が集中したその1日を除くとROASが113%前後まで落ちます。P(beat)の60%は、コイン投げより少し良い程度です。Bは毎日1件ずつ安定して売れており、P(beat)は99%です。P(beat)で絞り込むと、Aは脱落し、Bだけが残ります。

それでもこの例では1位は入れ替えません。95%を超えたのがBの1つだけで、Bの予想ROAS 259%（418% × 0.62）も、1位277%の1.2倍である332%に届かないからです。入れ替えの条件と予想ROASは後で説明します。Bは来週も引き続き注視する候補として残します。

P(beat)の95%という基準はどう決めたか: 5,482ペアのバックテスト

95%という基準はバックテストで決めました。私たちが運用してきたアカウントの、2023年5月以降のMeta広告の日別データを使い、基準を50%から95%まで変えながら的中率を測りました。基準を上げるほど的中率が上がったので、その中で最も厳しい95%を採用しています。

• 過去の毎週月曜日の時点に戻り、その時点までの14日データだけでP(beat)を計算しました。
• 1位は、そのキャンペーンで直前7日の広告費が最も大きいクリエイティブとしました。
• その後4週間の比較対象の実際のROASが1位を上回ったかどうかを正解として採点しました。両クリエイティブとも前後の期間に広告費2万ウォン以上を使ったペアのみを対象にしました。
• 前半70%の期間で基準を決め、後半30%の期間で再び当たるかを確認しました。

最初に基準を設定した2026年7月には、4,224ペアのうちP(beat)95%以上のクリエイティブの84%が、その後4週間で実際に1位に勝ちました。この記事を書きながら9月までのデータを加えて5,482ペアで再計算したところ、結果は以下のとおりです。

最初の行が61%もあるのは、1位を広告費基準で選んだからです。多くの予算を使った1位は、ROASが下がりやすい位置だと考えています。そのため、1位よりROASが高いクリエイティブがあること自体は新しい情報ではありません。P(beat)の役割は、その中から本当に勝つクリエイティブを選び出し、的中率を61%から81%に引き上げることです。

十分なサンプルがあるブランド4社だけを別に測ると、68%から90%まで開きがありました。そのため、十分なサンプルのあるブランドは自社の数字を使い、少ないブランドは統合値を使いつつ、統合値であることを明記しています。後半30%の期間だけを切り出して見ると、76%でした。

95%を超えても、5回に1回ほどは外れます。このバックテストには限界もあります。次の4週間内に停止されたクリエイティブは採点できないため除外され、生き残ったクリエイティブが中心の計算になっています。また毎週時点をずらして作ったペアなので、同じクリエイティブが何度も含まれています。そのためP(beat)だけで1位を入れ替えることはしません。

もう1点あります。このバックテストに含まれたアカウントが、すべて1日数万ウォン規模だったわけではありません。比較対象のクリエイティブは少額で回っていることが多かった一方、1位のクリエイティブはより大きな予算を使っていた場合が混ざっています。アカウント全体が1日数万ウォンなら的中率は異なるかもしれません。そのため、95%や下記の0.62といった値をそのまま使うのではなく、自分のアカウントの記録で再計測することをおすすめします。

Meta広告のクリエイティブ1位はいつ入れ替えるか: 3つの条件が同時に満たされたとき

P(beat)は毎週すべての比較対象のクリエイティブに表示しますが、1位の入れ替え候補として挙げるのは、以下の3つの条件が同時に満たされたときだけです。

1. P(beat)が基準（95%）を超えた比較対象のクリエイティブが2つ以上
2. それらのクリエイティブの予想ROASの中央値が、1位の2週間ROASの1.2倍以上（1位のROASは割引せずそのまま使用）
3. 評価可能な比較対象のクリエイティブが3つ以上稼働している

1つ目は、あるクリエイティブが偶然95%を超えた場合を除外するための条件です。2つ目は、勝っても差が小さければ入れ替えのコストだけがかかるという判断です。3つ目は、1位を入れ替えた後も、予算を分配できるクリエイティブが十分にあるかを確認するためのものです。配信を始めたばかりのクリエイティブは学習中のため、P(beat)は表示するだけで入れ替えの根拠には使いません。

1日数万ウォンのアカウントでは、多くの場合3つ目の条件から満たせません。比較対象が3つに届かない場合は1位を入れ替えず、まず比較対象のクリエイティブを増やします。クリエイティブごとに意味のある金額が14日間蓄積されてはじめて、P(beat)も計算できるからです。

予算を増やすとROASはどれくらい下がるか: 予想ROASの計算法

少額の予算で回っていたクリエイティブが1位になり、予算をさらに多く受け取ると、ROASは下がります。2つ目の条件で2週間ROASではなく予想ROASを使う理由がこれです。なぜ下がるのかは原因が複数あり、切り分けが困難です。

どれくらい下がるのかも、同じデータで測定しました（2026年7月時点の基準値）。過去にP(beat)が90%以上だったクリエイティブについて、その後に広告費が増えた倍率ごとに、実際のROASが直前2週間のROASの何%まで残ったかの中央値を求めました。

広告費をそのまま維持しても、ROASは直前2週間の83%程度まで下がりました。前述した過大評価と同じ方向の結果です。私たちは1位になると広告費が2〜4倍に増えると想定し、入れ替えの判断にはこの区間の62%を使っています。

この補正をしないと、2週間ROASが高いクリエイティブが現れるたびに1位を入れ替えることになります。入れ替えた途端に数字は下がり、またさらに高く見えるクリエイティブに替える、ということが繰り返されます。

判定基準はどのように継続して調整していくか

毎週判定するとき、すべての比較対象のクリエイティブのP(beat)と予想ROASを記録しておきます。データが蓄積されたら、その記録を実際の結果と照合し、95%の基準と補正値を再計算します。この記事の5,482ペアの結果も、そうして再計算して得た値です。変更された値は、人が確認してから反映します。

計算は毎週月曜日に、クリエイティブ効率レポートが自動で実行します。結果は停止すべきクリエイティブのリストと一緒に、1つのメッセージで受け取ります。そのため、1位の入れ替えも他の判断と一緒に行うことができます。

低予算のアカウントほど、1位を安易に入れ替えてはいけない理由

予算に余裕のあるアカウントは、誤って入れ替えてもすぐにデータが蓄積されるので、元に戻せます。1日数万ウォンを使うアカウントは違います。誤った1位に予算が集中すると2週間にわたって損をし、その間ほかのクリエイティブのデータは十分に蓄積されず、次の判断の根拠も弱くなります。

そのため低予算ほど、判断基準をより厳しく設定します。ROASの順位は参考程度にとどめ、1位を入れ替える根拠は、運を取り除いた確率と、予算増加を反映した予想値とします。今のアカウントで1位を頻繁に入れ替えているなら、入れ替えるたびに、その数字が1日の中で生まれたものか、14日間を通して生まれたものかをまず確認することをおすすめします。

よくある質問

この記事は韓国のデジタルマーケティングエージェンシーソウルパパマーケティングがお届けします。
Original Korean article: https://soulpapa.co.kr/2026/10/06/meta-ads-creative-pbeat/