<h1 id="heading-14483fae-e">표본비율이란</h1>실무에서는 단순한 전환 '개수'보다 전환 '비율'인 Sample Proportion(표본비율) ​("피-햇"이라 읽음)에 주로 관심을 둡니다.<div data-latex="\hat{p} = \frac{X}{n}" data-type="block-equation"></div><h1 id="heading-b207b7fc-f">표본비율의 기댓값과 표준편차</h1>​​는 Binomial distribution의 전환 카운트()를 상수인 전체 사용자 수()으로 나눈 값이므로, 그 중심인 기댓값(Expected Value)과 표준편차(Standard Deviation) 역시 직관적으로 도출됩니다.<ul><li>Expected Value: (장기적으로 표본비율의 평균은 실제 비율 에 수렴합니다)</li><li>Standard Deviation: (표본비율 자체가 가지는 통계적 흩어짐, 즉 표준편차입니다)</li></ul><div data-emoji="💡" data-type="callout">표본비율의 기댓값과 표준편차의 증명표본비율(​​​​)은 전환 카운트 변수 를 상수 으로 나눈 값(​)입니다. 선형성의 기본 성질을 적용하면 직관적인 공식이 도출됩니다.<ol><li>기댓값 증명 (상수는 기댓값 밖으로 그대로 나감: )<ol><li></li><li>의 기댓값 를 대입: </li><li>결론: 표본비율의 장기적인 평균값은 모집단의 평균 와 완벽하게 일치합니다</li></ol></li><li>분산 및 표준편차 증명 (상수는 분산 밖으로 나갈 때 제곱됨: )<ol><li></li><li>이항분포의 분산 공식 대입: </li><li>분산에 제곱근을 취해 표준편차(SD)로 변환: </li></ol></li></ol></div><h1 id="heading-f54cf134-h">표준편차(SD)와 표준오차(SE) 구분하기</h1>방금 구한 는 확률변수의 흩어짐이라는 정의를 그대로 따른 값입니다. 다만 ​​는 원본 데이터가 아니라 표본에서 계산해 낸 추정치이기 때문에, 통계학에서는 이 경우의 SD를 특별히 구분해서 표준오차(Standard Error, SE)라고 부릅니다.<ul><li>SD: 확률변수 자체의 흩어짐을 가리킬 때 쓰는 일반적인 이름</li><li>SE: 그 확률변수가 표본에서 계산한 '추정치(통계량)'일 때, SD에 붙는 이름</li></ul>앞으로 추정치를 다룰 때는 SE라는 표현을 주로 쓰게 됩니다.<h1 id="heading-47d124ff-g">표준오차를 결정하는 2가지 요소: 표본크기와 전환율</h1>SE는 유심히 살펴볼 가치가 있습니다. 측정된 비율의 오차는 표본 크기 이 커질수록 줄어들며(분모에 이 위치하므로), 측정하고자 하는 진짜 비율 자체의 크기에도 영향을 받습니다.<blockquote>핵심 규칙: 측정된 비율 ​​ 역시 우연에 의해 변하는 확률변수입니다. 평균적으로는 참값 를 가리키지만, 측정 시마다 ​​ 만큼 오차를 가지며 흔들립니다. 이 추정치의 표준편차를 표준오차(SE) 라고 부르며, 표본 수 이 작을수록 SE(불확실성)는 커집니다.</blockquote><div data-emoji="✍" data-type="callout">에디터 선미의 코멘트원문은 Uber Data Scientist 이준수님의 블로그에 있는 A/B 테스트 가이드 시리즈의 <a target="_blank" rel="noopener noreferrer nofollow" href="https://debunjob.com/book/ab-testing/stats-foundations?utm_source=datarian&amp;utm_medium=referral&amp;utm_campaign=guest_post">통계 기초와 가설검정</a> 입니다. 시리즈 글을 이어서 읽어주세요.이 글에서 얘기하는 '표준오차'는 '표본비율의 표준오차'입니다. 다시 말해, 표본비율이 모집단의 비율에서 얼마나 벗어날 수 있는가(오차)를 설명하는 수치입니다. 실험을 대규모로 할 수록(이 클수록) 표본이 모집단과 가까워지므로 오차는 줄어들고, 어떤 현상이 일어날 확률()이 0에 가깝거나 1에 가깝다면 표본에서도 그것이 일어나거나 또는 일어나지 않을것이 자명하므로 오차는 줄어듭니다.<figure data-src="https://attachments.datarian.io/prod-7172e9d8eb634a42a558e0a2af2294383611b83d6caf54153fd4bdcccb50e017.jpg" data-alt="p_1_minus_p.jpg" data-align="center" data-width="458" data-type="image-block" class="is-align-center" style="text-align: center; width: 458px; max-width: 100%;"><img src="https://attachments.datarian.io/prod-7172e9d8eb634a42a558e0a2af2294383611b83d6caf54153fd4bdcccb50e017.jpg" alt="p_1_minus_p.jpg" style="width: 100%; height: auto;"></figure>이 글에서는 이 정도만 이해하고 넘어가도 충분합니다. 대수의 법칙에 대해 다루는 다음 글을 읽으면 더 쉽게 이해가 될거예요. 포기하지 말고 다음 장으로 넘어가봅시다! </div>

A/B 테스트 결과를 제대로 이해하기 위해 반드시 알아야 할 필수 통계 원리

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 1. 확률과 무작위성

이항분호의 기댓값은 해당 분포의 중심점이자 장기적 평균일 뿐, 단 한 번의 실험 결과를 약속하는 값이 아닙니다.

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 2. 확률변수와 이항분포

분산과 표준편차는 개별 결과가 중심에서 얼마나 멀리 떨어지는지를 측정합니다. 실무 추론에서 주로 활용하는 것은 표준편차입니다.

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 3. 분산과 표준편차

실무에서는 단순히 전환 '개수'보다 전환 '비율'인 표본비율(Sample Proportion)에 주로 관심을 둡니다.

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 4. 표본 비율

표준오차는 추정치의 신뢰도를 측정하는 척도입니다. 큰 수의 법칙에 따라 오차는 표본 크기의 제곱근에 반비례해 감소합니다.

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 5. 큰 수의 법칙

중심극한정리에의해 n이 충분히 크면 개별 데이터의 모양과 무관하게 비율의 Sampling Distribution은 정규분포로 수렴합니다.

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 6. 중심극한정리와 정규분포

앞서 배운 모든 개념은 결국 "이 차이가 진짜인가, 아니면 단순한 우연인가?"라는 질문에 답하기 위한 하나의 절차로 수렴합니다

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 7. 가설검정의 논리

'승률' 중심의 평가 문화는 안정적인 시도만을 유도하지만, '학습률' 중심의 문화는 대담하고 가치 있는 검증을 독려합니다.

우리가 실험을 하는 이유

표본비율의 기댓값과 표준편차

표준편차(SD)와 표준오차(SE) 구분하기

표준오차를 결정하는 2가지 요소: 표본크기와 전환율

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 4. 표본 비율

Contents

데이터 분석 소식을
매월 받아보세요

Uber Data Scientist 의 A/B 테스트 이야기

함께 읽어보면 좋은 글

사용자의 클릭, 어떻게 유도할 수 있을까?

데이터 실험으로 성과를 만드는 방법

리텐션을 고려한 첫 구독 유도의 중요성

데이터 분석 소식을
매월 받아보세요데이터 분석 소식을 받아보세요

A/B 테스트를 위한 통계 기초와 가설 설정 - Part 4. 표본 비율

Contents

데이터 분석 소식을 매월 받아보세요

Uber Data Scientist 의 A/B 테스트 이야기

함께 읽어보면 좋은 글

사용자의 클릭, 어떻게 유도할 수 있을까?

데이터 실험으로 성과를 만드는 방법

리텐션을 고려한 첫 구독 유도의 중요성

데이터 분석 소식을 매월 받아보세요데이터 분석 소식을 받아보세요

데이터 분석 소식을
매월 받아보세요

데이터 분석 소식을
매월 받아보세요데이터 분석 소식을 받아보세요