<h1 id="heading-56a54707-i">표본분포란</h1>본 코스 전체를 관통하는 추상적인 개념이자, 초심자가 가장 쉽게 놓치는 부분입니다.실험을 단 한 번 수행하여 이라는 수치를 얻었다고 가정해 봅시다. 만약 동일한 크기의 새로운 무작위 표본으로 실험을 여러 번 반복한다면 어떻게 될까요? 매번 0.155, 0.168, 0.149…와 같이 서로 '다른' 가 도출될 것입니다. 이처럼 무작위 표본 추출을 반복했을 때 나타나는 모든 가능한 추정치들의 확률분포를 의 Sampling Distribution(표본분포)이라고 합니다. 이는 개별 개체의 분포가 아닌 '통계량 자체'의 분포입니다.<h1 id="heading-274602c4-j">표준오차란</h1>앞서 Part 4에서 이 분포의 흩어짐 정도를 SE라고 부르며 공식을 유도했습니다. 단어의 정의를 넘어 수치로 직접 비교해 봅시다. 동전을 단 한 번 던질 때()의 표준편차는 로 불확실성이 극에 달합니다.하지만 번 던졌을 때 측정되는 비율의 표준오차는 다음과 같이 급격히 줄어듭니다.<div data-latex="\mathrm{SE}(\hat{p}) = \sqrt{\frac{0.5 \times 0.5}{10}} = \sqrt{0.025} \approx 0.16" data-type="block-equation"></div>노이즈가 큰 개별 데이터 포인트 10개(각각 SD 0.5)를 평균 내면, 변동성이 훨씬 적은 안정적인 추정치(SE 0.16)가 도출됩니다. 원천 데이터 자체는 여전히 들쭉날쭉하지만, 거기서 도출한 '추정치'는 훨씬 안정적인 이유입니다. 이것이 바로 대규모 표본을 수집하는 이유이며, 분모의 이 그 역할을 수행합니다.SE는 "이 측정값을 얼마나 신뢰할 수 있는가?"를 정량화하는 단 하나의 수치입니다. SE가 작다는 것은 실험을 재실행해도 거의 동일한 결과가 나온다는 뜻이고, SE가 크다는 것은 단 한 번의 측정값이 우연에 의해 쉽게 크게 달라질 수 있음을 의미합니다.(참고: 공식 상의 진짜 비율 는 실무에서 알 수 없으므로, 표본에서 얻은 를 대신 대입하여 계산합니다. 이는 신뢰구간(CI)의 핵심 원리가 됩니다.)<h1 id="heading-1ccd7b65-k">큰 수의 법칙(Law of Large Numbers, LLN)</h1>표본 크기 이 분모의 제곱근 안에 위치하므로, 표본이 커질수록 SE는 급격히 감소합니다. 이것이 바로 Law of Large Numbers(큰 수의 법칙, LLN)입니다. 즉, 데이터를 쌓을수록 추정치 는 참값 에 가까워지며 으로 수렴합니다.단, 변동성이 비율로 줄어든다는 점에 주목해야 합니다. SE를 '절반'으로 줄이려면 데이터(표본 수)는 '4배'가 필요합니다. 정밀도를 높이는 데 드는 비용이 기하급수적으로 증가하는 이유입니다.<h1 id="heading-41e89a35-l">표본 크기별 오차 범위 비교</h1>공정한 동전()의 표본 크기별 95% 추정 범위( 범위)를 비교해 보면 다음과 같습니다. 동일한 동전임에도 이 커짐에 따라 오차 범위가 %p에서 사실상 0에 가까운 수준으로 줄어듭니다. "적정 샘플 사이즈 산정"이 실험의 성패를 좌우하는 이유가 바로 여기에 있습니다.<table style="min-width: 75px;"><colgroup><col style="min-width: 25px;"><col style="min-width: 25px;"><col style="min-width: 25px;"></colgroup><tbody><tr><th colspan="1" rowspan="1" data-background-color="rgba(39, 39, 42, 0.3)" style="--tiptap-table-cell-background-color: rgba(39, 39, 42, 0.3);">표본 크기 ()</th><th colspan="1" rowspan="1" data-background-color="rgba(39, 39, 42, 0.3)" style="--tiptap-table-cell-background-color: rgba(39, 39, 42, 0.3);"></th><th colspan="1" rowspan="1" data-background-color="rgba(39, 39, 42, 0.3)" style="--tiptap-table-cell-background-color: rgba(39, 39, 42, 0.3);">측정 비율의 95% 추정 범위</th></tr><tr><td colspan="1" rowspan="1">10</td><td colspan="1" rowspan="1">15.8%p</td><td colspan="1" rowspan="1">약 19% ~ 81% (±31%p)</td></tr><tr><td colspan="1" rowspan="1">100</td><td colspan="1" rowspan="1">5.0%p</td><td colspan="1" rowspan="1">약 40% ~ 60% (±10%p)</td></tr><tr><td colspan="1" rowspan="1">1,000</td><td colspan="1" rowspan="1">1.6%p</td><td colspan="1" rowspan="1">약 47% ~ 53% (±3%p)</td></tr><tr><td colspan="1" rowspan="1">100,000</td><td colspan="1" rowspan="1">0.16%p</td><td colspan="1" rowspan="1">약 49.7% ~ 50.3% (±0.3%p)</td></tr></tbody></table><figure data-src="https://attachments.datarian.io/prod-49787ab490b3226ada99b68c0f8dbf8ccb33d0bfe2ad20ea0d59c69deafabb50.png" data-alt="표본크기별_표본비율_분포_v2.png" data-align="center" data-width="741" data-type="image-block" class="is-align-center" style="text-align: center; width: 741px; max-width: 100%;"><img src="https://attachments.datarian.io/prod-49787ab490b3226ada99b68c0f8dbf8ccb33d0bfe2ad20ea0d59c69deafabb50.png" alt="표본크기별_표본비율_분포_v2.png" style="width: 100%; height: auto;"></figure><blockquote>핵심 규칙: 표본에서 계산한 모든 통계량은 고유한 표본분포('Sampling Distribution')를 가집니다. 이 표본분포의 표준편차가 바로 표준오차(SE)이며, 비율의 경우 ​​입니다. SE는 추정치의 신뢰도를 측정하는 척도입니다. 큰 수의 법칙에 따라 비율로 감소하며, 추정 오차를 절반으로 줄이기 위해서는 4배 만큼의 샘플이 요구됩니다.</blockquote><div data-emoji="✍" data-type="callout">에디터 선미의 코멘트원문은 Uber Data Scientist 이준수님의 블로그에 있는 A/B 테스트 가이드 시리즈의 <a target="_blank" rel="noopener noreferrer nofollow" href="https://debunjob.com/book/ab-testing/stats-foundations?utm_source=datarian&amp;utm_medium=referral&amp;utm_campaign=guest_post">통계 기초와 가설검정</a> 입니다. 시리즈 글을 이어서 읽어주세요.표본이 커질수록 표본비율이 참값 주변으로 촘촘하게 모입니다. 위 차트에서 표본의 크기가 커질수록, 표본비율의 분포가 점차 가운데로 집중되는 것을 볼 수 있지요. 오차 범위가 줄어드는 속도는 와 비례하여, 오차를 절반으로 줄이기 위해 4배의 표본이 필요합니다. 이를 좀 더 잘 보여주기 위해 원문에는 표본의 크기를 슬라이더로 조정하며, 포본의 크기에 따라 표본비율의 분포가 동적으로 달라지는 차트가 삽입되어 있습니다. 원문 링크에 꼭 방문해 보세요!</div>

A/B 테스트 결과를 제대로 이해하기 위해 반드시 알아야 할 필수 통계 원리

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 1. 확률과 무작위성

이항분호의 기댓값은 해당 분포의 중심점이자 장기적 평균일 뿐, 단 한 번의 실험 결과를 약속하는 값이 아닙니다.

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 2. 확률변수와 이항분포

분산과 표준편차는 개별 결과가 중심에서 얼마나 멀리 떨어지는지를 측정합니다. 실무 추론에서 주로 활용하는 것은 표준편차입니다.

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 3. 분산과 표준편차

실무에서는 단순히 전환 '개수'보다 전환 '비율'인 표본비율(Sample Proportion)에 주로 관심을 둡니다.

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 4. 표본 비율

표준오차는 추정치의 신뢰도를 측정하는 척도입니다. 큰 수의 법칙에 따라 오차는 표본 크기의 제곱근에 반비례해 감소합니다.

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 5. 큰 수의 법칙

중심극한정리에의해 n이 충분히 크면 개별 데이터의 모양과 무관하게 비율의 Sampling Distribution은 정규분포로 수렴합니다.

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 6. 중심극한정리와 정규분포

앞서 배운 모든 개념은 결국 "이 차이가 진짜인가, 아니면 단순한 우연인가?"라는 질문에 답하기 위한 하나의 절차로 수렴합니다

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 7. 가설검정의 논리

'승률' 중심의 평가 문화는 안정적인 시도만을 유도하지만, '학습률' 중심의 문화는 대담하고 가치 있는 검증을 독려합니다.

우리가 실험을 하는 이유

큰 수의 법칙(Law of Large Numbers, LLN)

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 5. 큰 수의 법칙

GA4, 필요할 때마다 검색해서 써왔다면?

Contents

데이터 분석 소식을
매월 받아보세요

Uber Data Scientist 이준수님의 A/B 테스트 이야기

함께 읽어보면 좋은 글

유저 생존 곡선 그리기

설명 변수를 이용하여 유저 생존 곡선 그리기

구독과 리텐션의 밸런스 게임

데이터 분석 소식을
매월 받아보세요데이터 분석 소식을 받아보세요

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 5. 큰 수의 법칙

GA4, 필요할 때마다 검색해서 써왔다면?

Contents

데이터 분석 소식을 매월 받아보세요

Uber Data Scientist 이준수님의 A/B 테스트 이야기

함께 읽어보면 좋은 글

유저 생존 곡선 그리기

설명 변수를 이용하여 유저 생존 곡선 그리기

구독과 리텐션의 밸런스 게임

데이터 분석 소식을 매월 받아보세요데이터 분석 소식을 받아보세요

데이터 분석 소식을
매월 받아보세요

데이터 분석 소식을
매월 받아보세요데이터 분석 소식을 받아보세요