<h1 id="heading-c9b89536-6">확률 변수</h1>확률변수(Random Variable)는 무작위 표본추출 결과에 따라 값이 결정되는 변수입니다. 예를 들어 "방문자 10명 중 몇 명이 전환할 것인가?"에서 전환자 수는 확률변수입니다. 실제 실험을 실행해 보기 전까지는 그 값이 1이 될지, 4가 될지, 7이 될지 알 수 없습니다.<h1 id="heading-0f9b815a-7">분포</h1>분포(Distribution)는 확률변수가 가질 수 있는 모든 값과, 각 값이 나타날 확률을 한눈에 나열한 목록입니다. 즉, 무작위성의 양상을 한눈에 파악할 수 있는 지도 역할을 합니다.<h1 id="heading-5cfeda33-9">이항분포</h1>실무에서 가장 흔히 접하게 되는 분포는 Binomial Distribution(이항분포)입니다. 이는 성공 확률이 인 독립적인 Bernoulli trial을 번 반복했을 때 발생하는 총 성공 횟수의 분포를 의미하며, 기호로는 와 같이 표기합니다.<ul><li>공정한 동전을 10번 던질 때 나오는 앞면의 개수 → </li><li>1,000명의 방문자에게 결제 화면을 노출했을 때의 총 전환 수(전환율을 0.2로 가정) → </li></ul>실제 정확한 확률값 계산은 라이브러리나 계산기가 수행하므로, 이항분포를 '모든 전환 카운트의 바탕이 되는 기본 모델'로 이해해 두시면 충분합니다.<div data-emoji="💡" data-type="callout">Binomial Distribution 공식n번의 시행에서 정확히 k번 성공할 확률은 다음과 같이 정의됩니다.<ul><li>: 특정 번의 성공이 일어날 확률</li><li>: 나머지 번의 실패가 일어날 확률</li><li> : 번 중 번의 성공이 배치되는 가능한 조합의 수</li></ul>이 과정 전반에서는 이 공식을 직접 계산할 필요는 없으니 참고용으로만 확인하셔도 충분합니다.</div>공정한 동전()을 던질 때의 확률 분포 예시는 다음과 같습니다.<table style="min-width: 50px;"><colgroup><col style="min-width: 25px;"><col style="min-width: 25px;"></colgroup><tbody><tr><th colspan="1" rowspan="1" data-background-color="rgba(39, 39, 42, 0.3)" style="--tiptap-table-cell-background-color: rgba(39, 39, 42, 0.3);">앞면 개수</th><th colspan="1" rowspan="1" data-background-color="rgba(39, 39, 42, 0.3)" style="--tiptap-table-cell-background-color: rgba(39, 39, 42, 0.3);">확률</th></tr><tr><td colspan="1" rowspan="1">정확히 5개</td><td colspan="1" rowspan="1">~24.6%</td></tr><tr><td colspan="1" rowspan="1">4개, 5개, 또는 6개</td><td colspan="1" rowspan="1">~65.6%</td></tr><tr><td colspan="1" rowspan="1">7개 이상 또는 3개 이하</td><td colspan="1" rowspan="1">~34.4%</td></tr><tr><td colspan="1" rowspan="1">8개 이상</td><td colspan="1" rowspan="1">~5.5%</td></tr></tbody></table>완벽하게 공정한 동전이라도 정확히 기대치인 5개가 나올 확률은 24.6%에 불과합니다. 또한 8개 이상으로 한쪽에 치우친 결과가 나올 확률도 5.5%나 됩니다. (이는 추후 다룰 유의수준 , 즉 '20번에 1번' 기준의 확률적 직관과 매우 유사합니다.)이처럼 결과가 매번 달라지는 것은 동전에 문제가 있어서가 아닙니다. 이러한 무작위적 변동성 그 자체를 나타낸 것이 바로 분포(Distribution)입니다.<figure data-src="https://attachments.datarian.io/prod-8e0209ab9ab7ff1e8c8a67d70dfb5b270f7423b45c6052c253ffaf6d5df6c6fe.jpg" data-alt="coin_toss_distribution.jpg" data-align="center" data-width="641" data-type="image-block" class="is-align-center" style="text-align: center; width: 641px; max-width: 100%;"><img src="https://attachments.datarian.io/prod-8e0209ab9ab7ff1e8c8a67d70dfb5b270f7423b45c6052c253ffaf6d5df6c6fe.jpg" alt="coin_toss_distribution.jpg" style="width: 100%; height: auto;"></figure><h1 id="heading-1e4e6c9d-a">분포의 중심, 기댓값(Expected Value)</h1>Expected Value(기댓값, )은 확률변수의 장기적인 평균값으로, 각 실현 가능한 값에 해당 확률을 곱해 모두 더한 수치입니다. 이는 분포의 무게중심을 의미하며, 단일 시행에서 보장되는 결과가 아닙니다. (예: 공정한 주사위의 이지만, 주사위를 한 번 던져서 3.5가 나올 수는 없습니다.)Binomial distribution에서 기댓값은 매우 명확하고 깔끔한 공식을 가집니다.<div data-latex="E[X]=n⋅p" data-type="block-equation"></div><ul><li>공정한 동전을 10번 던질 때: </li><li>전환율 20% 환경에서 1,000명의 방문자를 볼 때: </li></ul><blockquote>핵심 규칙: 확률변수의 모든 무작위적 특성은 그 분포를 통해 완벽히 설명됩니다. Binomial distribution의 기댓값 는 해당 분포의 중심점이자 장기적 평균일 뿐, 단 한 번의 실험 결과를 약속하는 값이 아닙니다.</blockquote><div data-emoji="✍" data-type="callout">에디터 선미의 코멘트이 글의 원문은 Uber Data Scientist 이준수님의 블로그에 있는 A/B 테스트 가이드 시리즈의 <a target="_blank" rel="noopener noreferrer nofollow" href="https://debunjob.com/book/ab-testing/stats-foundations?utm_source=datarian&amp;utm_medium=referral&amp;utm_campaign=guest_post">통계 기초와 가설검정</a> 입니다. 시리즈 글을 이어서 읽어주세요.</div>

A/B 테스트 결과를 제대로 이해하기 위해 반드시 알아야 할 필수 통계 원리

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 1. 확률과 무작위성

이항분호의 기댓값은 해당 분포의 중심점이자 장기적 평균일 뿐, 단 한 번의 실험 결과를 약속하는 값이 아닙니다.

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 2. 확률변수와 이항분포

분산과 표준편차는 개별 결과가 중심에서 얼마나 멀리 떨어지는지를 측정합니다. 실무 추론에서 주로 활용하는 것은 표준편차입니다.

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 3. 분산과 표준편차

실무에서는 단순히 전환 '개수'보다 전환 '비율'인 표본비율(Sample Proportion)에 주로 관심을 둡니다.

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 4. 표본 비율

표준오차는 추정치의 신뢰도를 측정하는 척도입니다. 큰 수의 법칙에 따라 오차는 표본 크기의 제곱근에 반비례해 감소합니다.

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 5. 큰 수의 법칙

중심극한정리에의해 n이 충분히 크면 개별 데이터의 모양과 무관하게 비율의 Sampling Distribution은 정규분포로 수렴합니다.

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 6. 중심극한정리와 정규분포

앞서 배운 모든 개념은 결국 "이 차이가 진짜인가, 아니면 단순한 우연인가?"라는 질문에 답하기 위한 하나의 절차로 수렴합니다

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 7. 가설검정의 논리

'승률' 중심의 평가 문화는 안정적인 시도만을 유도하지만, '학습률' 중심의 문화는 대담하고 가치 있는 검증을 독려합니다.

우리가 실험을 하는 이유

분포의 중심, 기댓값(Expected Value)

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 2. 확률변수와 이항분포

GA4, 필요할 때마다 검색해서 써왔다면?

Contents

데이터 분석 소식을
매월 받아보세요

Uber Data Scientist 이준수님의 A/B 테스트 이야기

함께 읽어보면 좋은 글

첫 구독 유도의 중요성

1주 1개 실험하는 프로덕트 팀이 되는 여정

유저들은 공짜 선물을 싫어한다

데이터 분석 소식을
매월 받아보세요데이터 분석 소식을 받아보세요

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 2. 확률변수와 이항분포

GA4, 필요할 때마다 검색해서 써왔다면?

Contents

데이터 분석 소식을 매월 받아보세요

Uber Data Scientist 이준수님의 A/B 테스트 이야기

함께 읽어보면 좋은 글

첫 구독 유도의 중요성

1주 1개 실험하는 프로덕트 팀이 되는 여정

유저들은 공짜 선물을 싫어한다

데이터 분석 소식을 매월 받아보세요데이터 분석 소식을 받아보세요

데이터 분석 소식을
매월 받아보세요

데이터 분석 소식을
매월 받아보세요데이터 분석 소식을 받아보세요