방법론·리터러시¶

요지 (무엇을 위해)¶

실험을 어떻게 설계하고(가설→검증), A/B 테스트를 어떻게 돌리고, 지표를 어떻게 읽나 — 전사가 공유하는 방법론 원본이다. 추측이나 허영 지표가 아니라 사전에 고정한 가설을 데이터로 검증해 결정하기 위한 공통 토대다. 개발·마케팅·기획·디자인 각 hub는 이 원본을 링크하고, 역할별 적용만 자기 hub에서 다룬다.

언제 쓰나 / 안 쓰나¶

쓴다 — 새 기능·온보딩·가격·메시징을 바꿀 때 효과를 검증할 근거가 필요할 때. 지표가 움직였는데 원인을 주장해야 할 때. 무엇을 측정할지 정할 때.
안 쓴다 — 명백한 버그 수정·법적 필수·디자인 가독성 등 실험 없이 자명한 결정. 표본이 절대적으로 부족한 극초기(이때는 정성 인터뷰·관찰이 우선 — hub-eng/onboarding 및 리서치 방법론).

단계 (절차)¶

1. 실험 설계 (가설→검증 루프)¶

작은 단위로 빠르게 만들고 피드백으로 배우는 애자일·라이트 FDD 리듬의 토대. 모든 실험은 다음을 시작 전에 명시한다.

가설 — "X를 하면 Y(지표)가 Z만큼 변할 것이다." 측정 가능하게.
변수 — 무엇 하나만 바꾸는가(독립변수). 나머지는 통제.
성공 기준 — 사전에 정한 임계값. 사후에 옮기지 않는다.
표본·기간 — 유의미한 결론에 필요한 최소 규모/시간.
결정 규칙 — 결과에 따라 무엇을 채택/폐기/재실험할지 미리 약속.

2. A/B 테스트¶

원칙	내용
단일 변수	한 번에 한 요소만 바꿔 인과를 식별. 여러 변경은 결과 해석 불가.
랜덤 분배	사용자를 무작위 배정해 셀프셀렉션 편향 제거.
충분한 표본	작은 차이일수록 더 큰 표본 필요. 조기 종료(peeking)는 거짓 양성.
사전 등록	지표·기간·성공 기준을 시작 전 고정. 사후 체리피킹 금지.
유의성 ≠ 임팩트	통계적 유의성과 실제 사업 임팩트는 별개로 본다.

실험 카드 예시 (d-edu):

항목	예
가설	"온보딩에 첫 스터디룸 생성을 강제하면 주간 활성(WAU)이 오른다"
독립변수	온보딩 1스텝(스터디룸 생성) 추가 / 나머지 동일
지표	가입 → 첫 핵심 행동(스터디룸 생성·노트 작성) 전환율, D7 리텐션
성공 기준	(사전 고정) 전환율 X%p↑ — 사후 이동 금지
결정 규칙	달성 시 전면 적용 / 미달 시 폐기·변형 재실험

이벤트 트래킹은 릴리즈 전략의 행동 이벤트(studyroom_create·note_write·dashboard_view 등)를 GA4/내부 로그로 수집한다 — release-announce §성공 지표.

3. 지표를 읽는 단계 (리터러시)¶

지표 해석은 다음 순서로 한다. 단일 수치를 보기 전에 분모·세그먼트·인과를 먼저 따진다.

분모를 본다 — 비율은 분자·분모를 함께 확인. 표본이 작으면 노이즈(초기 MVP는 단일 수치 과신 금지).
세그먼트로 쪼갠다 — 평균은 분포를 숨긴다. 신규/기존, 역할별(학생/선생님/보호자), 학년별, 주차별로 분해.
선행/후행을 가른다 — 행동(선행)이 결과(후행)를 앞선다. 빨리 움직이는 선행으로 학습. d-edu 북극성 = 주간 AI 대화 1회+ 학생 수(선행), 결제·MRR은 후행.
허영 지표를 버린다 — 총합·누적처럼 늘 오르는 수가 아니라, 비율·전환·리텐션 같은 의사결정 가능한 지표.
인과를 의심한다 — 상관 ≠ 인과. 같이 움직인다고 원인이 아니다. 인과 주장엔 실험(1·2단계).
AARRR 렌즈로 깔때기를 본다 — 유입·활성·리텐션·수익·추천 단계별로 어디서 새는지. GTM Phase 게이트가 이 깔때기와 맞물린다 — gtm-launch-checklist.

체크리스트¶

실험·지표 작업 전 다음을 확인한다.

가설이 측정 가능한가 ("X → Y가 Z만큼")
바꾸는 변수가 하나인가 (나머지 통제)
성공 기준·기간·표본을 시작 전에 고정했는가
결정 규칙(채택/폐기/재실험)을 미리 약속했는가
지표가 비율·전환·리텐션인가 (허영 지표 아님)
분모·세그먼트를 확인했는가
인과 주장에 실험 근거가 있는가 (상관만으로 단정 금지)

흔한 함정¶

사후 이동 — 결과를 보고 성공 기준·지표를 옮기는 체리피킹.
조기 종료(peeking) — 유의해 보이는 순간 멈춰 거짓 양성을 잡는다.
다변수 변경 — 한 번에 여러 개를 바꿔 무엇이 효과인지 모른다.
유의성 맹신 — 통계적 유의성을 사업 임팩트로 착각.
평균의 함정 — 세그먼트를 안 쪼개 분포·소수 강세를 놓친다.
허영 지표 자축 — 누적 가입자처럼 늘 오르는 수로 성공을 선언.

역할별 적용¶

원칙은 여기 한 곳에 두고, 실제 적용은 각 직무 hub에서 한다.

역할	적용
마케팅	그로스 실험·어트리뷰션 — hub-mkt
기획/PM	제품 실험·데이터 해석 — hub-pm
개발	성능·릴리즈 실험 — hub-eng/onboarding 및 hub-eng 원칙
디자인	사용성 테스트 — hub-design