P(beat)로 머신러닝 뛰어넘기 — 메타 광고 소재 1위는 언제 바꿔야 하나요?

Soulpapamarketing(소울파파마케팅)의 브랜딩&마케팅 이야기.

---

광고비가 적은 브랜드가 메타 광고 소재를 고를 때 흔히 하는 실수가 있습니다. 최근 2주 ROAS가 제일 높은 소재를 그대로 1위 자리에 올리는 것입니다. 숫자가 높으니 맞는 판단처럼 보입니다. 그런데 예산이 작을수록 그 숫자는 소재 실력보다 운에 더 크게 흔들립니다.

저희는 매주 소재를 판정할 때 ROAS 순위를 그대로 쓰지 않습니다. 따로 계산하는 숫자가 하나 있고, 내부에서는 피비트(P(beat))라고 부릅니다. 이 글에서는 피비트가 무엇이고, 어떻게 계산하며, 교체 기준을 어디에 두는지를 실제 운영 코드와 백테스트 수치 그대로 정리합니다.

저예산 메타 광고에서 ROAS 1등 소재는 왜 착시가 되나

하루 2~3만 원을 쓰는 소재는 하루 구매가 0건 아니면 1건입니다. 그날 ROAS도 0% 아니면 몇백 %로 나뉩니다. 이런 날이 2주 쌓이면, 어느 날 큰 주문 한 건이 들어온 소재가 2주 합계로는 1등이 됩니다. 그 한 건을 빼면 평범한 소재인데도 그렇습니다.

여러 소재 중 숫자가 가장 높은 것을 고르는 행위 자체도 과대평가를 만듭니다. 소재마다 성과에 노이즈가 섞여 있으면, 1등으로 뽑힌 소재는 대개 노이즈가 위쪽으로 튄 소재입니다. 개별 측정이 정확해도 고른 결과는 실제보다 좋아 보입니다. 추천·광고 시스템 연구에서도 예측값이 가장 높은 대상을 고르면 같은 편향이 생긴다고 봅니다(arXiv 2205.09809, ICLR 2023). 소재가 많고 표본이 작을수록 이 편향은 커집니다.

메타의 머신러닝에도 같은 문제가 있습니다. 세트 안에서 메타는 전환 비용이 가장 낮을 것으로 예측한 소재에 노출을 몰아주는데, 이력이 짧은 소재일수록 그 예측이 들쭉날쭉합니다. 저예산 계정은 이 예측이 자리를 잡기 전에 사람이 먼저 판단을 내려야 하는 경우가 많습니다. 피비트는 메타가 몰아준 결과를 그대로 믿지 않고, 실제 일별 성과로 한 번 더 거르는 장치입니다.

그래서 저예산 계정에서는 ROAS가 얼마나 높은지를 묻지 않습니다. 이 소재가 지금 1위를 진짜로 이기는지를 묻습니다.

함께 읽기

저예산 메타 광고, 무지성 위닝 찾기의 폐해

저예산에서 캠페인과 세트를 쪼개면 경매 중복으로 예산이 소진되지 않고 머신 러닝 단계도 끝나지 않습니다.

P(beat)란 무엇이고, 이름은 어디서 왔나

P는 확률(Probability), beat는 ‘이긴다’입니다. 구글이 운영하던 A/B 테스트 도구 옵티마이즈(Google Optimize)는 실험 결과 화면에 ‘probability to beat baseline’, 즉 기존안보다 나을 확률을 보여줬습니다. 피비트는 이 개념에서 이름을 가져왔습니다.

다른 점은 두 가지입니다. 비교 기준을 기존안이 아니라 지금 캠페인의 1위 소재로 잡습니다. 계산도 옵티마이즈의 베이지안 모델이 아니라, 일별 데이터를 다시 뽑는 부트스트랩 방식을 씁니다. 쉽게 말해 피비트는 날짜 구성을 바꿔도 비교 소재가 1위를 이기는 비율입니다. 높을수록 그 승리를 운으로 보기 어렵습니다. 95%라고 해서 95% 맞는 건 아닙니다. 실제로 얼마나 맞았는지는 아래 백테스트에서 봅니다.

P(beat) 계산 방법: 14일 데이터를 2,000번 다시 뽑는다

실제 2주는 한 번뿐입니다. 그래서 그 14일을 다시 섞어, 이렇게 흘러갔을 수도 있는 2주를 여러 개 만들어 봅니다. 이걸 가짜 2주라고 부르겠습니다. 계산은 네 단계입니다.

1. 1위 소재와 비교 소재의 최근 14일 일별 광고비·구매 매출을 가져옵니다.
2. 14일 중에서 날짜를 무작위로 14번 뽑아(같은 날이 여러 번 뽑히기도 하고, 아예 안 뽑히는 날도 생깁니다) 가짜 2주를 하나 만듭니다. 이걸 2,000번 반복해 가짜 2주 2,000개를 만듭니다.
3. 가짜 2주마다 두 소재의 ROAS를 따로 계산합니다. 이때 두 소재에는 똑같은 날짜 조합을 씁니다.
4. 가짜 2주 2,000개 중 비교 소재의 ROAS가 1위보다 높았던 비율이 피비트입니다.

3번에서 두 소재에 같은 날짜를 쓰는 건 공정하게 비교하기 위해서입니다. 추석 연휴, 월급날, 경쟁사 프로모션처럼 시장 전체가 출렁인 날이 있으면 두 소재가 그 영향을 똑같이 받아야 공정한 비교가 됩니다. 한 소재는 월급날만, 다른 소재는 평일만 뽑히면 비교가 무의미해집니다.

가짜 2주의 ROAS는 하루 ROAS 14개의 평균이 아니라 매출 합계 ÷ 광고비 합계로 구합니다. 광고비가 적게 나간 날의 ROAS는 0%나 900%처럼 극단으로 튀는데, 평균을 내면 이런 날이 숫자를 흔듭니다. 합계로 나누면 돈을 많이 쓴 날의 결과가 그만큼 더 반영됩니다. 데이터가 5일이 안 되면 확률을 믿기 어려워 판정하지 않습니다.

이 방식이 운을 걸러내는 원리는 단순합니다. 대박이 난 하루는 가짜 2주 2,000개 중 상당수에서 뽑히지 않습니다. 그 하루 덕에 이긴 소재는 그날이 빠진 가짜 2주에서 대부분 집니다. 매일 조금씩 판 소재는 어떤 날이 빠져도 결과가 크게 바뀌지 않습니다.

예시로 보는 피비트: 2주 ROAS는 비슷한데 결과는 정반대

설명을 위해 만든 예시 데이터입니다. 객단가 39,000원 제품을 파는 캠페인에 소재 세 개가 있습니다. 위 계산 방식을 그대로 돌린 결과입니다.

소재	14일 광고비	14일 ROAS	매출이 난 날	피비트
1위 소재	350,000원	277%	14일 중 12일	기준
소재 A	112,000원	363%	14일 중 4일(주문이 몰린 하루 매출 290,000원)	60%
소재 B	112,000원	418%	14일 중 12일	99%

ROAS만 보면 A(363%)와 B(418%)는 둘 다 1위(277%)보다 훨씬 좋아 보입니다. 하지만 A는 주문이 몰린 그 하루를 빼면 ROAS가 113% 안팎으로 떨어집니다. 피비트 60%는 동전 던지기보다 조금 나은 수준입니다. B는 하루 한 건씩 꾸준히 팔렸고 피비트가 99%입니다. 피비트로 거르면 A는 탈락하고 B만 남습니다.

그래도 이 예시에서는 1위를 바꾸지 않습니다. 95%를 넘은 소재가 B 하나뿐이고, B의 예상 ROAS 259%(418% × 0.62)도 1위 277%의 1.2배인 332%에 못 미치기 때문입니다. 교체 조건과 예상 ROAS는 아래에서 설명합니다. B는 다음 주에도 지켜볼 후보로 둡니다.

피비트 95% 기준은 어떻게 정했나: 5,482쌍 백테스트

95%라는 기준은 백테스트로 골랐습니다. 저희가 운영한 계정의 2023년 5월 이후 메타 광고 일별 데이터로, 기준을 50%부터 95%까지 바꿔 가며 적중률을 쟀습니다. 기준을 높일수록 적중률이 올라서 그중 가장 엄격한 95%를 씁니다.

• 과거의 매주 월요일 시점으로 돌아가, 그 시점까지의 14일 데이터만으로 피비트를 계산했습니다.
• 1위는 그 캠페인에서 직전 7일 광고비가 가장 큰 소재로 정했습니다.
• 그 뒤 4주 동안 비교 소재의 실제 ROAS가 1위보다 높았는지를 정답으로 채점했습니다. 두 소재 모두 앞뒤 기간에 광고비 2만 원 이상을 쓴 쌍만 셌습니다.
• 앞쪽 70% 기간으로 기준을 잡고 뒤쪽 30% 기간에서 다시 맞는지 확인했습니다.

처음 기준을 잡은 2026년 7월에는 4,224쌍에서 피비트 95% 이상인 소재의 84%가 다음 4주에 실제로 1위를 이겼습니다. 이 글을 쓰면서 9월까지 데이터를 더해 5,482쌍으로 다시 돌렸고, 결과는 아래와 같습니다.

구분	비교 소재가 다음 4주에 1위를 이긴 비율
비교 소재 전체(피비트 무관)	61%
피비트 90% 이상	79%
피비트 95% 이상	81%

첫 줄이 61%나 되는 건 1위를 광고비 기준으로 정했기 때문입니다. 돈을 많이 쓴 1위는 ROAS가 낮아지기 쉬운 자리로 봅니다. 그러니 1위보다 ROAS가 높은 소재가 있다는 것 자체는 새로운 정보가 아닙니다. 피비트가 하는 일은 그중에서 진짜로 이길 소재를 골라 적중률을 61%에서 81%로 올리는 것입니다.

표본이 충분한 브랜드 4곳만 따로 재면 68%에서 90%까지 벌어집니다. 그래서 표본이 충분한 브랜드는 자기 숫자를 쓰고, 적은 브랜드는 통합값을 쓰되 통합값이라고 표시합니다. 뒤쪽 30% 기간만 떼어 보면 76%였습니다.

95%를 넘겨도 네다섯 번에 한 번은 틀립니다. 이 백테스트에는 한계도 있습니다. 다음 4주 안에 꺼진 소재는 채점할 수 없어 빠졌으므로 살아남은 소재 위주로 계산됐고, 매주 시점을 옮겨 가며 만든 쌍이라 같은 소재가 여러 번 들어갔습니다. 그래서 피비트 하나만으로 1위를 바꾸지 않습니다.

하나 더 있습니다. 이 백테스트에 들어간 계정이 모두 하루 몇만 원 규모는 아닙니다. 비교 소재는 소액으로 도는 경우가 많았지만 1위 소재는 더 큰 예산을 쓰던 경우가 섞여 있습니다. 계정 전체가 하루 몇만 원이라면 적중률이 다를 수 있으니, 95%와 아래 0.62 같은 값은 그대로 가져다 쓰기보다 자기 계정 기록으로 다시 재 보시길 권합니다.

메타 광고 소재 1위는 언제 바꾸나: 세 조건이 동시에 맞을 때

피비트는 매주 모든 비교 소재에 표시하지만, 1위 교체 후보로 올리는 건 아래 세 조건이 동시에 맞을 때뿐입니다.

1. 피비트가 기준(95%)을 넘은 비교 소재가 2개 이상
2. 그 소재들의 예상 ROAS 중앙값이 1위 2주 ROAS의 1.2배 이상(1위 ROAS는 할인 없이 그대로 씀)
3. 평가가 가능한 비교 소재가 3개 이상 돌고 있음

1번은 한 소재가 우연히 95%를 넘은 경우를 거르기 위한 조건입니다. 2번은 이겨도 차이가 작으면 바꾸는 비용만 든다는 판단입니다. 3번은 1위를 바꾼 뒤에도 예산을 나눠 받을 소재가 충분한지 봅니다. 새로 올린 지 얼마 안 된 소재는 학습 중이라 피비트를 표시만 하고 교체 근거로는 쓰지 않습니다.

하루 몇만 원 계정에서는 3번 조건부터 못 맞추는 경우가 많습니다. 비교 소재가 3개가 안 되면 1위를 바꾸지 않고, 비교할 소재를 먼저 늘립니다. 소재마다 14일 동안 의미 있는 금액이 쌓여야 피비트도 계산됩니다.

예산을 키우면 ROAS는 얼마나 떨어지나: 예상 ROAS 계산법

작은 예산으로 돌던 소재는 1위가 되어 예산을 더 받으면 ROAS가 떨어집니다. 2번 조건에 2주 ROAS 대신 예상 ROAS를 쓰는 이유입니다. 왜 떨어지는지는 원인이 여러 가지라 나누기 어렵습니다.

얼마나 떨어지는지도 같은 데이터로 쟀습니다(2026년 7월 기준값). 과거에 피비트 90% 이상이었던 소재들이 이후 지출이 늘어난 배율별로, 실제 ROAS가 직전 2주 ROAS의 몇 %로 남았는지 중앙값을 뽑았습니다.

이후 지출 변화	남은 ROAS(직전 2주 대비)
지출 비슷하게 유지	83%
1~2배	74%
2~4배	62%
4배 이상	53%

지출을 그대로 둬도 ROAS는 직전 2주의 83% 수준으로 떨어졌습니다. 앞에서 말한 과대평가와 같은 방향의 결과입니다. 저희는 1위가 되면 지출이 2~4배로 는다고 가정하고, 교체 판단에 이 구간의 62%를 씁니다.

이 보정을 하지 않으면 2주 ROAS가 높은 소재가 나올 때마다 1위를 갈아엎게 됩니다. 바꾸고 나면 숫자가 떨어지고, 다시 더 높아 보이는 소재로 바꾸는 일이 반복됩니다.

판정 기준은 어떻게 계속 맞춰 가나

매주 판정할 때 모든 비교 소재의 피비트와 예상 ROAS를 기록해 둡니다. 데이터가 쌓이면 그 기록을 실제 결과와 맞춰 보고 95% 기준과 보정값을 다시 계산합니다. 이 글의 5,482쌍 결과도 그렇게 다시 돌려 얻은 값입니다. 바뀐 값은 사람이 확인한 뒤에 반영합니다.

계산은 매주 월요일 소재 효율 리포트가 자동으로 돌립니다. 결과는 종료할 소재 목록과 함께 한 메시지로 받아 봅니다. 그래서 1위 교체도 다른 결정과 같이 내릴 수 있습니다.

함께 읽기

당신의 광고가 효율 한계에 부딪히는 이유와 ROAS 낮은 광고 소재를 살리는 법

지출은 많은데 ROAS가 낮은 소재를 살려 브랜드가 안정적으로 성장하는 방법을 실제 광고 관리자 화면과 함께 정리했습니다.

저예산 계정일수록 1위를 함부로 바꾸면 안 되는 이유

예산이 넉넉한 계정은 잘못 바꿔도 금방 데이터가 쌓여 되돌릴 수 있습니다. 하루 몇만 원을 쓰는 계정은 다릅니다. 잘못된 1위에 예산이 몰리면 2주 동안 손해를 보고, 그동안 다른 소재에는 데이터가 덜 쌓여, 다음 판단의 근거도 약해집니다.

그래서 저예산일수록 판단 기준을 더 엄격하게 둡니다. ROAS 순위는 참고만 하고, 1위를 바꾸는 근거는 운을 걸러낸 확률과 예산 증가를 반영한 예상치로 삼습니다. 지금 계정에서 1위를 자주 바꾸고 있다면, 바꿀 때마다 그 숫자가 하루에서 나왔는지 14일 내내 나왔는지부터 확인해 보시길 권합니다.

---

자주 묻는 질문

저예산 메타 광고 소재 성과는 며칠 데이터로 판단하나요?

저희는 최근 14일 일별 데이터로 판단하고, 데이터가 5일이 안 되는 소재는 판정하지 않습니다. 7일이면 날짜가 7개뿐이라 큰 주문 한 건이 결과를 좌우하기 쉽습니다.

2주 ROAS가 가장 높은 소재를 바로 1위로 올려도 되나요?

저예산 계정에서는 권하지 않습니다. 그 ROAS가 하루 큰 주문에서 나왔는지 먼저 확인해야 합니다. 저희는 피비트 95% 이상인 소재가 2개 이상이고, 예산 증가를 반영한 예상 ROAS 중앙값이 1위의 1.2배 이상이며, 비교 소재가 3개 이상 돌 때만 교체 후보로 올립니다.

P(beat)는 어떻게 계산하나요?

최근 14일에서 날짜를 무작위로 14번 다시 뽑아 가짜 2주를 2,000개 만들고, 1위와 비교 소재에 같은 날짜 조합을 적용합니다. 가짜 2주마다 매출 합 ÷ 광고비 합으로 ROAS를 내고, 비교 소재가 1위보다 높았던 비율을 셉니다. 스프레드시트로도 계산할 수 있지만 반복 횟수가 많아 스크립트로 돌리는 게 낫습니다.

메타 광고 예산을 늘리면 ROAS는 얼마나 떨어지나요?

저희 데이터(2026년 7월 기준)에서는 피비트 90% 이상이던 소재도 이후 지출을 2~4배 늘렸을 때 ROAS는 직전 2주의 62% 수준이었습니다. 지출을 그대로 둬도 83%, 4배 이상 늘리면 53%였습니다. 계정과 시기마다 다르므로 자기 계정 기록으로 다시 재 보는 게 정확합니다.