<h1 id="heading-c9b89536-6">확률 변수</h1>확률변수(Random Variable)는 무작위 표본추출 결과에 따라 값이 결정되는 변수입니다. 예를 들어 "방문자 10명 중 몇 명이 전환할 것인가?"에서 전환자 수는 확률변수입니다. 실제 실험을 실행해 보기 전까지는 그 값이 1이 될지, 4가 될지, 7이 될지 알 수 없습니다.<h1 id="heading-0f9b815a-7">분포</h1>분포(Distribution)는 확률변수가 가질 수 있는 모든 값과, 각 값이 나타날 확률을 한눈에 나열한 목록입니다. 즉, 무작위성의 양상을 한눈에 파악할 수 있는 지도 역할을 합니다.<h1 id="heading-5cfeda33-9">이항분포</h1>실무에서 가장 흔히 접하게 되는 분포는 Binomial Distribution(이항분포)입니다. 이는 성공 확률이 인 독립적인 Bernoulli trial을 번 반복했을 때 발생하는 총 성공 횟수의 분포를 의미하며, 기호로는 와 같이 표기합니다.<ul><li>공정한 동전을 10번 던질 때 나오는 앞면의 개수 → </li><li>1,000명의 방문자에게 결제 화면을 노출했을 때의 총 전환 수(전환율을 0.2로 가정) → </li></ul>실제 정확한 확률값 계산은 라이브러리나 계산기가 수행하므로, 이항분포를 '모든 전환 카운트의 바탕이 되는 기본 모델'로 이해해 두시면 충분합니다.<div data-emoji="💡" data-type="callout">Binomial Distribution 공식n번의 시행에서 정확히 k번 성공할 확률은 다음과 같이 정의됩니다.<ul><li>: 특정 번의 성공이 일어날 확률</li><li>: 나머지 번의 실패가 일어날 확률</li><li> : 번 중 번의 성공이 배치되는 가능한 조합의 수</li></ul>이 과정 전반에서는 이 공식을 직접 계산할 필요는 없으니 참고용으로만 확인하셔도 충분합니다.</div>공정한 동전()을 던질 때의 확률 분포 예시는 다음과 같습니다.<table style="min-width: 50px;"><colgroup><col style="min-width: 25px;"><col style="min-width: 25px;"></colgroup><tbody><tr><th colspan="1" rowspan="1" data-background-color="rgba(39, 39, 42, 0.3)" style="--tiptap-table-cell-background-color: rgba(39, 39, 42, 0.3);">앞면 개수</th><th colspan="1" rowspan="1" data-background-color="rgba(39, 39, 42, 0.3)" style="--tiptap-table-cell-background-color: rgba(39, 39, 42, 0.3);">확률</th></tr><tr><td colspan="1" rowspan="1">정확히 5개</td><td colspan="1" rowspan="1">~24.6%</td></tr><tr><td colspan="1" rowspan="1">4개, 5개, 또는 6개</td><td colspan="1" rowspan="1">~65.6%</td></tr><tr><td colspan="1" rowspan="1">7개 이상 또는 3개 이하</td><td colspan="1" rowspan="1">~34.4%</td></tr><tr><td colspan="1" rowspan="1">8개 이상</td><td colspan="1" rowspan="1">~5.5%</td></tr></tbody></table>완벽하게 공정한 동전이라도 정확히 기대치인 5개가 나올 확률은 24.6%에 불과합니다. 또한 8개 이상으로 한쪽에 치우친 결과가 나올 확률도 5.5%나 됩니다. (이는 추후 다룰 유의수준 , 즉 '20번에 1번' 기준의 확률적 직관과 매우 유사합니다.)이처럼 결과가 매번 달라지는 것은 동전에 문제가 있어서가 아닙니다. 이러한 무작위적 변동성 그 자체를 나타낸 것이 바로 분포(Distribution)입니다.<figure data-src="https://attachments.datarian.io/prod-8e0209ab9ab7ff1e8c8a67d70dfb5b270f7423b45c6052c253ffaf6d5df6c6fe.jpg" data-alt="coin_toss_distribution.jpg" data-align="center" data-width="641" data-type="image-block" class="is-align-center" style="text-align: center; width: 641px; max-width: 100%;"><img src="https://attachments.datarian.io/prod-8e0209ab9ab7ff1e8c8a67d70dfb5b270f7423b45c6052c253ffaf6d5df6c6fe.jpg" alt="coin_toss_distribution.jpg" style="width: 100%; height: auto;"></figure><h1 id="heading-1e4e6c9d-a">분포의 중심, 기댓값(Expected Value)</h1>Expected Value(기댓값, )은 확률변수의 장기적인 평균값으로, 각 실현 가능한 값에 해당 확률을 곱해 모두 더한 수치입니다. 이는 분포의 무게중심을 의미하며, 단일 시행에서 보장되는 결과가 아닙니다. (예: 공정한 주사위의 이지만, 주사위를 한 번 던져서 3.5가 나올 수는 없습니다.)Binomial distribution에서 기댓값은 매우 명확하고 깔끔한 공식을 가집니다.<div data-latex="E[X]=n⋅p" data-type="block-equation"></div><ul><li>공정한 동전을 10번 던질 때: </li><li>전환율 20% 환경에서 1,000명의 방문자를 볼 때: </li></ul><blockquote>핵심 규칙: 확률변수의 모든 무작위적 특성은 그 분포를 통해 완벽히 설명됩니다. Binomial distribution의 기댓값 는 해당 분포의 중심점이자 장기적 평균일 뿐, 단 한 번의 실험 결과를 약속하는 값이 아닙니다.</blockquote><div data-emoji="✍" data-type="callout">에디터 선미의 코멘트이 글의 원문은 Uber Data Scientist 이준수님의 블로그에 있는 A/B 테스트 가이드 시리즈의 <a target="_blank" rel="noopener noreferrer nofollow" href="https://debunjob.com/book/ab-testing/stats-foundations?utm_source=datarian&amp;utm_medium=referral&amp;utm_campaign=guest_post">통계 기초와 가설검정</a> 입니다. 시리즈 글을 이어서 읽어주세요.</div>

A/B 테스트 결과를 제대로 이해하기 위해 반드시 알아야 할 필수 통계 원리

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 1. 확률과 무작위성

이항분호의 기댓값은 해당 분포의 중심점이자 장기적 평균일 뿐, 단 한 번의 실험 결과를 약속하는 값이 아닙니다.

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 2. 확률변수와 이항분포

분산과 표준편차는 개별 결과가 중심에서 얼마나 멀리 떨어지는지를 측정합니다. 실무 추론에서 주로 활용하는 것은 표준편차입니다.

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 3. 분산과 표준편차

실무에서는 단순히 전환 '개수'보다 전환 '비율'인 표본비율(Sample Proportion)에 주로 관심을 둡니다.

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 4. 표본 비율

표준오차는 추정치의 신뢰도를 측정하는 척도입니다. 큰 수의 법칙에 따라 오차는 표본 크기의 제곱근에 반비례해 감소합니다.

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 5. 큰 수의 법칙

중심극한정리에의해 n이 충분히 크면 개별 데이터의 모양과 무관하게 비율의 Sampling Distribution은 정규분포로 수렴합니다.

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 6. 중심극한정리와 정규분포

앞서 배운 모든 개념은 결국 "이 차이가 진짜인가, 아니면 단순한 우연인가?"라는 질문에 답하기 위한 하나의 절차로 수렴합니다

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 7. 가설검정의 논리

'승률' 중심의 평가 문화는 안정적인 시도만을 유도하지만, '학습률' 중심의 문화는 대담하고 가치 있는 검증을 독려합니다.

우리가 실험을 하는 이유

분포의 중심, 기댓값(Expected Value)

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 2. 확률변수와 이항분포

Contents

데이터 분석 소식을
매월 받아보세요

Uber Data Scientist 의 A/B 테스트 이야기

함께 읽어보면 좋은 글

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 4. 표본 비율

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 5. 큰 수의 법칙

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 6. 중심극한정리와 정규분포

데이터 분석 소식을
매월 받아보세요데이터 분석 소식을 받아보세요

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 2. 확률변수와 이항분포

Contents

데이터 분석 소식을 매월 받아보세요

Uber Data Scientist 의 A/B 테스트 이야기

함께 읽어보면 좋은 글

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 4. 표본 비율

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 5. 큰 수의 법칙

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 6. 중심극한정리와 정규분포

데이터 분석 소식을 매월 받아보세요데이터 분석 소식을 받아보세요

데이터 분석 소식을
매월 받아보세요

데이터 분석 소식을
매월 받아보세요데이터 분석 소식을 받아보세요