그로스 실험 (마케팅 적용)¶
요지¶
캠페인을 사전에 명시한 가설과 게이트 KPI로 묶어 실험처럼 운영하기 위한 방법. 실험 설계의 일반 원리(가설·대조군·표본·통계)는 methodology-literacy에 두고, 여기서는 d-edu 마케팅 맥락의 운영 방식만.
언제 쓰나 / 안 쓰나¶
- 쓴다: 캠페인·채널 의사결정이 불확실해 검증이 필요할 때, carrying message·보상·발송 빈도 dial을 정할 때.
- 안 쓴다: 이미 검증된 운영 루틴(매일 챌린지 발송 등)은 channel-playbooks SOP로. 통계적 유의 설계 자체는 methodology-literacy.
단계 (절차)¶
- 가설을 먼저 적는다. 예) "기존 500명 풀 활성화 ROI > 신규 acquisition"(v3 가설 6). 검증 안 된 가설은 게이트에서 잘라낸다.
- 게이트로 진행을 끊는다. Phase 1→2(D-1), Phase 2→3(D+13) 게이트에서 KPI 미달 시 슬립/축소. → campaign-log 500명 프로그램의 A~D 게이트.
- 시나리오를 사전에 박제한다. Strong/Weak/No PMF 세 분기를 미리 정의해 결정 시점의 감정적 합리화 차단.
- 결과를 자산화·append한다. 인증 후기·사고력 트레이스를 익명화해 마케팅 자산으로 재투입, 결과는 campaign-log에 기록 → 다음 기획 입력.
체크리스트¶
- 실험마다 가설이 한 문장으로 적혀 있나.
- 게이트 KPI와 미달 시 사전 정의 행동이 함께 있나.
- 시나리오 A/B/C가 결정 전에 박제됐나.
- 시그널을 적극 유저(인증·thumb)만으로 읽지 않고 폴·인터뷰로 triangulate하나(metrics-attribution).
- retention을 버즈 직후가 아니라 종료 1주 뒤(Post-Poll)로 보나.
흔한 함정¶
- selection bias: 인증·thumb(적극 유저)만 보면 과대평가 → 폴·인터뷰로 보정.
- 버즈 착시: 챌린지 기간 중 활성도를 PMF로 오인 → Post-Poll 잔존으로 판단.
- 즉흥 결정: 게이트를 통과/탈락만으로 끝내고 사전 정의 행동 없이 그때그때 판단.
예시 · 폼/템플릿 링크¶
| 실험 패턴 | d-edu 예 |
|---|---|
| A/B 카피 테스트 | "즉답 모드" 옵션 unlock 게이팅, 페인 vs 보상 hook |
| boost 실험 | 가장 반응 좋은 릴스 1개만 광고 boost (ROAS 게이트 D-5) |
| 사전 응원자 시딩 | Day 1 첫 인증 0건 방지 — 5명 사전 모집(소셜 프루프 부트스트랩) |
| 단계적 push | 미참여 멤버 1:1 DM을 D+3/D+7/D+10 단계로만 |
게이트 → 사전 정의 행동 (실측 게이트는 campaign-log):
| 게이트 | 미달 시 사전 정의 행동 |
|---|---|
| A (D-1) | 2개+ 지표 미달 → D-Day 슬립 검토(개시 강행 금지) |
| B (D+13) | 인증·활성 미달 → 보상·발송 빈도 dial 조정, 범위 축소 |
| C (D+21 Post-Poll) | NPS·retention으로 시나리오 A/B/C 확정 |
시나리오 분기 (마무리 미팅에서 택1): A(Strong PMF) → Phase 3 결제 push / B(Weak) → 개선 라운드 후 재측정 / C(No PMF) → pivot 검토.
관련¶
- methodology-literacy — 실험 설계 일반 원리
- metrics-attribution — 지표·어트리뷰션
- marketing-principles — 메시징 가설
- campaign-log — 게이트·시나리오 실행 기록