콘텐츠로 이동
✍️ 수정가능누구나 고쳐도 됩니다. 고치면 하단 frontmatter의 갱신일·작성자·변경요약을 남겨 주세요.작성 Claude · 2026-06-04 · v12 재편·raw 컴파일·인간화

실험 설계 (제품 적용)

요지

불확실한 제품 결정을 사전 가설 + 게이트 + 시나리오 분기로 다루는 방법. 실험 설계의 일반 원리(가설·대조군·표본·통계적 유의)는 methodology-literacy에 두고, 여기서는 d-edu 제품 기획 맥락의 운영만.

언제 쓰나 / 안 쓰나

  • 쓴다: 제품 결정(기능 도입·범위·온보딩 변경)이 불확실해 정량 검증이 필요할 때.
  • 안 쓴다: 통계적 유의 설계 자체는 methodology-literacy. 확정된 우선순위 운영은 prioritization.

단계 (절차)

  1. 가설을 먼저 적는다. 예) "6모 시즌은 결제 윈도우가 아니라 PMF 실험 윈도우"(engagement first). 검증 안 된 가설은 게이트로 자른다.
  2. PMF 게이트를 잡는다. Day7/14/21 시점에 수집 시그널로 결정(운영 dial 조정 / 마무리 / Phase 3 의사결정). → metrics-interpretation.
  3. 시나리오를 사전에 박제한다. Strong/Weak/No PMF 분기를 미리 정의해 결정 시점의 감정적 합리화 차단.
  4. DoD·트래킹과 연결한다. 실험 결과 = 다음 PRD 입력. FDD의 측정 가능한 DoD와 트래킹 이벤트가 있어야 실험이 성립. → requirements-guide.

체크리스트

  • 실험마다 가설이 한 문장으로 적혀 있나.
  • 게이트 시점(Day7/14/21)과 결정 룰이 사전에 정의됐나.
  • 시나리오 A/B/C가 결정 전에 박제됐나.
  • 측정할 트래킹 이벤트·DoD가 FDD에 명세돼 있나.

흔한 함정

  • happy-path만 측정: 실패 경로·예외 시그널 누락 → 상태별 트래킹 명세.
  • 즉흥 결정: 게이트를 통과/탈락만으로 끝내고 사전 정의 행동 없이 판단.
  • 측정 불가 DoD: 정성적 완료 조건이면 실험이 성립 안 함 → 측정 가능하게.

예시 · 폼/템플릿 링크

실험 패턴 d-edu 예
기능 A/B "즉답 모드" 옵션 unlock 게이팅 (AI 답 회피 dial)
온보딩 변경 실험 학생 onboarding 폼에 등급·과목·약점 필드 추가(v4) 후 추천 품질 측정
MVP 범위 실험 핵심 기능만 출시해 정량 반응 검증(MVP 릴리즈 전략의 성공 지표)

관련