A/B 테스트 시 유력한 가설을 어떻게 세우시나요?
11월 세미나 [데이터 실험 문화의 핵심: A/B 테스트] 실시간 질의응답
월간 데이터리안 11월 세미나에서는 A/B 테스트에 대한 이야기를 나눠봤습니다. 강연 중 실시간으로 진행된 질의응답의 일부를 공유합니다.
Demi “직관만 믿고 까불었다가 망한 PM의 사연”
선미 “알아두면 쓸데있는 잡다한 A/B 테스트 이야기”
두 강연에서 어떤 이야기가 오고갔는지 아래에서 확인해보세요 :)
월간 데이터리안 세미나의 분위기도 함께 느껴보세요!
[직관만 믿고 까불었다가 망한 PM의 사연] Q&A
11월_Demi_커버이미지.png
Q. 키워드 알림 등록 버튼 변경 시, 키워드 등록률 자체가 핵심 지표였는지 궁금합니다. 등록률이 떨어진 것 말고도 실험 자체의 p-value도 유의하게 나오지 않았던 건가요?
Demi: 네, 키워드 알림 등록 전환율이 핵심 지표였어요. 1차에서는 실험하지 않고 배포한 것이었고, 지표 차이가 워낙 커서 따로 p-value는 계산하지 않았는데 당연히 0에 수렴했을 거예요.
Q. 실험 시에 유저를 어떤 기준으로 나누셨나요? 단순하게 서비스를 사용하는 유저들을 네 그룹으로 나누어서 테스트하신 걸까요?
Demi: 실험할 때 유저를 랜덤하게, 그리고 통계적으로 유의미하게 분기 처리하는 방법이 있어요. 그런 부분들은 사내 실험 플랫폼에서 기능을 지원해주고 있어요.
Q. 사내 플랫폼을 사용할 수 있다면 통계적인 방법론을 직접 적용할 줄 모르더라도 A/B 테스트 관련 실무를 하는 데 무리가 없나요?
Demi: 저희 사내 실험 플랫폼에서는 누구나 실험을 쉽게 할 수 있는 기능들을 제공하고 있어요. 실험 결과도 자동으로 분석해주는 기능이 있어서 분석가가 아니더라도 주도적으로 실험을 진행하고 의사 결정 할 수 있어요. 물론 과정에서 분석가의 리뷰를 받으면서 진행합니다.
Q. 사내에 A/B 테스트 플랫폼을 직접 만들 인력이 없는 경우에 쓸 수 있는 다른 대안이 있을까요?
Demi: 외부 실험 플랫폼을 구매해서 쓸 수도 있고, 구글의 firebase를 쓸 수도 있어요. 자체 구축이 어렵다면 외부 플랫폼을 쓰시면 됩니다!
Q. A/B 테스트를 사내 플랫폼을 통해 누구나 할 수 있다면, 해당 업무에서 데이터 분석가의 역할은 자연스럽게 좀 줄어들게 되나요? 저는 데이터 분석가로 일하고 있는데, 그런 환경에서는 분석가가 어떤 역할에 강점을 가지는지 궁금합니다.
예슬: 실험은 누구나 할 수 있지만 실험이 유의미하게 진행되도록 가이드하는 역할을 데이터 분석가가 해요. 실험 과정 과정에서 데이터 분석가의 도움이 필요하고, 어떤 것을 실험할지 분석하는 것에도 분석가의 역할이 필요하기 때문에 분석가는 더 전문적인 영역에서 활약할 수 있어요.
Q. 신규 기능 개발에 관한 비용 산정은 어떤 분이 도와주시나요?
Demi: 같은 팀 안에 개발자분들이 있어서 항상 프로젝트할 때 PM과 개발자가 초기 기획 단계에서부터 의견 교류를 활발하게 해요. 실무 개발자가 개발 리소스를 산정해주고 있어요. 개발 사이즈가 클 경우 개발 리드 분이 의견을 주시기도 합니다.
Q. A/B 테스트 시 가설 설정을 할 때 그 가설이 맞는지를 어떻게 판단하고 실험을 진행하시나요?
Demi: 가설을 검증하기 위해서 A/B 테스트를 해요. 가장 유력한 가설을 세우기 위해서 데이터 분석, 사용자 테스트, 팀내 논의를 해요. A/B 테스트는 가설 검증이 목표이기 때문에, ‘가설이 틀렸네’ 라는 것도 좋은 레슨런입니다.
Q. 실험 기간을 보통 2주 ~ 한 달로 잡는 것 같은데, 한 달 이상에 실험 기간을 잡는 것에 대해서 어떻게 생각하시나요?
Demi: 이건 제품에 따라 달라서 정답은 따로 없어요. 저희 서비스의 경우 재방문 주기가 짧아 한 달 이상 실험을 할 경우, 의사 결정이 늘어지기 때문에 그렇게 하는 경우는 많이는 없어요. 하지만 어떤 제품은 방문 주기가 길 수 있기 때문에 그럴 경우 한 달 이상 실험을 할 수도 있을 것 같아요.
Q. 보민(진행자): 혹시 Demi님 강연에서 어떤게 가장 기억에 남으시나요?
😆: 쉽게 들을 수 없는 실무 얘기를 해주셔서 좋았어요. 남의 회사 얘기 듣는 거 너무 재밌네요.
👩🏻‍💻: 직관과 데이터 사이 밸런스를 고민하는 부분이 와닿았어요!
😮: 실패를 Sunshining 한 과정이 너무 멋졌습니다!
[알아두면 쓸데있는 잡다한 A/B 테스트 이야기] Q&A
11월_윤선미_커버이미지.png
Q. A/B 테스트 시, A 표본 수와 B 표본 수를 완전 동일하게 해야 하나요?
예슬: 동일 기간 내에 실험하는 경우 두 그룹의 표본 수가 같지는 않아도 돼요. 다만, 실험 분석 시에 표본 수가 다르다는 것을 고려하여 bias를 제거하여 분석해야 합니다. 두 그룹의 분산이 다른 경우가 해당돼요.
Q. post-privacy issue 이후로 많은 모바일 디바이스/브라우저에서 unique user 정합성 이슈가 발견되고 있는데요. 웹/비로그인 방식의 서비스에서는 50~70%까지도 사용자 인식이 안 되는 상황입니다. A/B 테스트 분기 처리에서부터 B를 봤던 사용자를 인식 못하고 재방문 시 A를 다시 보여주는 문제가 있고, 분석 환경에서도 같은 사용자를 인식하지 못해 다른 유저로 분석하기도 합니다. 위 이유로 저는 웹/비로그인 서비스에서 A/B테스트를 하는 걸 조심하고 있는데요. 비슷한 경험을 하고 계시는지, 어떻게 대응하고 계시는지 궁금합니다. 
선미: 얘기해주신 이슈 때문에 마케팅이며 실험이며 다들 어렵죠... 문제 상황과 해결 방법 모두 공감하고 동의합니다. 말씀해주신 것처럼 비로그인 유저들은 제외하고 실험하는 방법이 있을 수 있겠네요.
Q. p-value가 둘 다 유의미한 경우 더 낮은 p-value를 갖는 것이 더 좋은 실험이라고 할 수 있을까요?
예슬: 두 가지 다 유의미한 경우에는 말씀하신 것처럼 p-value가 더 낮은 것이 나오죠. 이런 경우에는 p-value가 더 낮은 안이 정말 더 좋은 경험인지 핵심 지표나 가드레일 지표로 체크하고 더 나은 경험을 제공했다는 것이 확실할 때 의사 결정 하는 것 같아요!
Q. 보민(진행자): 혹시 선미님 강연에서 어떤게 가장 기억에 남으시나요?
👩🏻‍💻: A/B 테스트에서 차이가 없을 때의 액션 아이템을 제시해줘서 감사했습니다. A/B 테스트와 관련된 굉장히 많은 글을 찾아봤음에도 해당 내용은 별로 없더라구요!
👩‍🦰: 통계적 유의성에만 관심이 있었는데 그 외에 고려해야 할 사항이 정말 많다는 걸 알게 되었습니다.
😮: 비즈니스적인 직관도 중요한 요소란 것을 알려주셔서 감사합니다.
🙋🏻‍♀️: p-value를 믿지 말라는 부분에서 통계적 수치가 절대적으로 의사 결정에 크게 영향을 주지 않는다는 것이 인상 깊었습니다.
👨🏻: A/B를 꼭 선택하는 게 아니라 비슷하다고 결론짓는 것이 때론 좋을 수도 있겠다는 점이 기억에 남네요!
기타 Q&A
Q. 실무에서 실제로 MDE를 계산 후 실험을 진행하시나요?
예슬: 실험마다 MDE도 체크하고 있어요.
Q. 시간의 흐름을 발생하는 자연 값보다는 큰 값으로 본다는 게 어떤 의미인가요?
예슬: 예를 들어서 평소에 전환율이 10% 평균을 기준으로 +-1% 정도가 유지된다면 그것보다는 조금 더 크게 MDE를 잡아보는 게 유의미할 수 있다는 의미였어요!
Q. 실험 결과를 분석하다가 아웃라이어 때문에 문제를 많이 겪는데, 검색 서비스의 실험 결과에서 자주 확인되는 아웃라이어는 어떤 케이스가 있는지 궁금합니다.
Demi: 실험에서 유저 분기가 잘된다면 아웃라이어도 높은 확률도 5:5로 분기돼요. 그리고 그냥 전환율이 아닌, 유저당 전환율을 지표로 세우면 아웃라이어의 영향도를 줄일 수 있어요.
예슬: Demi님이 말씀하신 것과 더불어 유저 기준으로 집계된 데이터로 지표를 구하기 때문에 아웃라이어의 영향을 줄일 수 있어요. 하지만 이것도 어느 정도 트래픽이 보장된 경우의 이야기이고, 만약 한 명의 아웃라이어가 전체 지표를 흔들 정도의 사이즈라면 제거하고 보거나 실험을 할 수 있는 트래픽인지 고민해보는 것을 추천드려요. 만약 아웃라이어가 한 쪽에 몰린다면 실험 분기를 제대로 했는지를 체크해보는 것도 방법이 될 것 같아요.


conversion_type

시리즈 내 순서

conversion_text

멤버 전용

대표 이미지

공개 가능

작성일

예상 읽기 시간

전환 텍스트

글쓴이

시리즈

상단 노출

전환 유형

요약

제목

3월 세미나의 주제는 퍼널 분석과 사용자 행동 데이터 분석이었습니다.

경험한 여러 회사중에 데이터가 아예 없는 경우도 있었나요?

[실무에서 바로 써먹는 데이터 분석 스킬] 세미나 슬라이드

4월 세미나의 주제는 매출 분석과 코호트 분석이었습니다.

고객의 연령/성별을 몰라도 유의미한 데이터 분석이 가능할까요?

[설득의 시작, 데이터 제대로 보여주는 법] 세미나 슬라이드

5월 강연 중 실시간으로 진행된 질의 응답의 일부를 공유합니다.

데이터 시각화의 거의 모든 것 feat. 책, 레퍼런스 추천

[데이터 기반 의사 결정, 이렇게 합니다] 세미나 슬라이드

7월 강연 중 실시간으로 진행된 질의 응답의 일부를 공유합니다.

데이터를 다루기 시작한 스타트업에서는 어떻게 데이터를 봐야할까요?

[데이터가 액션으로 빠르게 이어지는 환경 만들기] 세미나 슬라이드

10월 강연 중 실시간으로 진행된 질의 응답의 일부를 공유합니다.

구글 스프레드시트로 대시보드를 만들어도 동료들이 많이 보나요?

[데이터 실험 문화의 핵심: A/B 테스트] 세미나 슬라이드

11월 강연 중 실시간으로 진행된 질의 응답의 일부를 공유합니다.

A/B 테스트 시 유력한 가설을 어떻게 세우시나요?

[직장인 데이터 리터러시: 내 업무에 데이터 활용하기] 세미나 슬라이드

[실전! 스타트업 데이터 기반 의사 결정] 세미나 슬라이드

[비즈니스 성장을 견인하는 데이터 기반 콘텐츠 마케팅] 세미나 슬라이드

[내일 당장 써먹을 수 있는 GA4 활용법] 세미나 슬라이드

[요즘 핫한 사이드 프로젝트가 데이터 보는 방법] 세미나 슬라이드

[데이터와 함께 SNS 마케팅을 넘어 오프라인 광고까지] 세미나 슬라이드

2023년 10월 강연 중 진행된 실시간 질의 응답 내용을 공유합니다.

옥외 광고 성과를 분석할 때 주로 어떤 지표를 보시나요?

[마케팅 성과 분석의 모든 것 (feat. GA4)] 세미나 슬라이드

3월 세미나 슬라이드와 1부 강연 영상을 다시보실 수 있어요!

[다른 회사는 퍼널 분석 어떻게 하고 있을까?] 세미나 다시보기

10월 세미나 슬라이드와 1부 강연 영상, 일부 실시간 Q&A 내용까지 다시 보실 수 있어요!

[데이터를 근거로 내 기획안 효과적으로 설득하기] 세미나 다시보기

11월 세미나 [데이터 실험 문화의 핵심: A/B 테스트] 실시간 질의응답

[직관만 믿고 까불었다가 망한 PM의 사연] Q&A

[알아두면 쓸데있는 잡다한 A/B 테스트 이야기] Q&A

A/B 테스트 시 유력한 가설을 어떻게 세우시나요?

Contents

데이터 분석 소식을
매월 받아보세요

📝 실무 사례 세미나 모아보기

함께 읽어보면 좋은 글

측정 가능한 마케팅 성과 분석 | 강연 추천, 연사 인터뷰

[비전공자 4명, 어떻게 데이터 분석가 됐을까?] 세미나 슬라이드

[스스로 성장하는 분석가 커리어 만들기] 세미나 슬라이드

데이터 분석 소식을
매월 받아보세요데이터 분석 소식을 받아보세요

A/B 테스트 시 유력한 가설을 어떻게 세우시나요?

Contents

데이터 분석 소식을 매월 받아보세요

📝 실무 사례 세미나 모아보기

함께 읽어보면 좋은 글

측정 가능한 마케팅 성과 분석 | 강연 추천, 연사 인터뷰

[비전공자 4명, 어떻게 데이터 분석가 됐을까?] 세미나 슬라이드

[스스로 성장하는 분석가 커리어 만들기] 세미나 슬라이드

데이터 분석 소식을 매월 받아보세요데이터 분석 소식을 받아보세요

데이터 분석 소식을
매월 받아보세요

데이터 분석 소식을
매월 받아보세요데이터 분석 소식을 받아보세요