• 세미나

A/B 테스트 시 유력한 가설을 어떻게 세우시나요?

11월 세미나 [데이터 실험 문화의 핵심: A/B 테스트] 실시간 질의응답

 
🔎
11월 세미나 콘텐츠 모아보기!
  • 11월 세미나 실시간 질의응답
 
월간 데이터리안 11월 세미나에서는 A/B 테스트에 대한 이야기를 나눠봤습니다. 강연 중 실시간으로 진행된 질의응답의 일부를 공유합니다.
 
  • Demi “직관만 믿고 까불었다가 망한 PM의 사연”
  • 선미 “알아두면 쓸데있는 잡다한 A/B 테스트 이야기”
 
두 강연에서 어떤 이야기가 오고갔는지 아래에서 확인해보세요 :) 월간 데이터리안 세미나의 분위기도 함께 느껴보세요!
 

[직관만 믿고 까불었다가 망한 PM의 사연] Q&A

 
notion image
 
Q. 키워드 알림 등록 버튼 변경 시, 키워드 등록률 자체가 핵심 지표였는지 궁금합니다. 등록률이 떨어진 것 말고도 실험 자체의 p-value도 유의하게 나오지 않았던 건가요?
Demi: 네, 키워드 알림 등록 전환율이 핵심 지표였어요. 1차에서는 실험하지 않고 배포한 것이었고, 지표 차이가 워낙 커서 따로 p-value는 계산하지 않았는데 당연히 0에 수렴했을 거예요.
 
Q. 실험 시에 유저를 어떤 기준으로 나누셨나요? 단순하게 서비스를 사용하는 유저들을 네 그룹으로 나누어서 테스트하신 걸까요?
Demi: 실험할 때 유저를 랜덤하게, 그리고 통계적으로 유의미하게 분기 처리하는 방법이 있어요. 그런 부분들은 사내 실험 플랫폼에서 기능을 지원해주고 있어요.
 
Q. 사내 플랫폼을 사용할 수 있다면 통계적인 방법론을 직접 적용할 줄 모르더라도 A/B 테스트 관련 실무를 하는 데 무리가 없나요?
Demi: 저희 사내 실험 플랫폼에서는 누구나 실험을 쉽게 할 수 있는 기능들을 제공하고 있어요. 실험 결과도 자동으로 분석해주는 기능이 있어서 분석가가 아니더라도 주도적으로 실험을 진행하고 의사 결정 할 수 있어요. 물론 과정에서 분석가의 리뷰를 받으면서 진행합니다.
 
Q. 사내에 A/B 테스트 플랫폼을 직접 만들 인력이 없는 경우에 쓸 수 있는 다른 대안이 있을까요?
Demi: 외부 실험 플랫폼을 구매해서 쓸 수도 있고, 구글의 firebase를 쓸 수도 있어요. 자체 구축이 어렵다면 외부 플랫폼을 쓰시면 됩니다!
 
Q. A/B 테스트를 사내 플랫폼을 통해 누구나 할 수 있다면, 해당 업무에서 데이터 분석가의 역할은 자연스럽게 좀 줄어들게 되나요? 저는 데이터 분석가로 일하고 있는데, 그런 환경에서는 분석가가 어떤 역할에 강점을 가지는지 궁금합니다.
예슬: 실험은 누구나 할 수 있지만 실험이 유의미하게 진행되도록 가이드하는 역할을 데이터 분석가가 해요. 실험 과정 과정에서 데이터 분석가의 도움이 필요하고, 어떤 것을 실험할지 분석하는 것에도 분석가의 역할이 필요하기 때문에 분석가는 더 전문적인 영역에서 활약할 수 있어요.
 
Q. 신규 기능 개발에 관한 비용 산정은 어떤 분이 도와주시나요?
Demi: 같은 팀 안에 개발자분들이 있어서 항상 프로젝트할 때 PM과 개발자가 초기 기획 단계에서부터 의견 교류를 활발하게 해요. 실무 개발자가 개발 리소스를 산정해주고 있어요. 개발 사이즈가 클 경우 개발 리드 분이 의견을 주시기도 합니다.
 
Q. A/B 테스트 시 가설 설정을 할 때 그 가설이 맞는지를 어떻게 판단하고 실험을 진행하시나요?
Demi: 가설을 검증하기 위해서 A/B 테스트를 해요. 가장 유력한 가설을 세우기 위해서 데이터 분석, 사용자 테스트, 팀내 논의를 해요. A/B 테스트는 가설 검증이 목표이기 때문에, ‘가설이 틀렸네’ 라는 것도 좋은 레슨런입니다.
 
Q. 실험 기간을 보통 2주 ~ 한 달로 잡는 것 같은데, 한 달 이상에 실험 기간을 잡는 것에 대해서 어떻게 생각하시나요?
Demi: 이건 제품에 따라 달라서 정답은 따로 없어요. 저희 서비스의 경우 재방문 주기가 짧아 한 달 이상 실험을 할 경우, 의사 결정이 늘어지기 때문에 그렇게 하는 경우는 많이는 없어요. 하지만 어떤 제품은 방문 주기가 길 수 있기 때문에 그럴 경우 한 달 이상 실험을 할 수도 있을 것 같아요.
 
Q. 보민(진행자): 혹시 Demi님 강연에서 어떤게 가장 기억에 남으시나요?
😆: 쉽게 들을 수 없는 실무 얘기를 해주셔서 좋았어요. 남의 회사 얘기 듣는 거 너무 재밌네요.
👩🏻‍💻: 직관과 데이터 사이 밸런스를 고민하는 부분이 와닿았어요!
😮: 실패를 Sunshining 한 과정이 너무 멋졌습니다!
 

[알아두면 쓸데있는 잡다한 A/B 테스트 이야기] Q&A

 
notion image
 
Q. A/B 테스트 시, A 표본 수와 B 표본 수를 완전 동일하게 해야 하나요?
예슬: 동일 기간 내에 실험하는 경우 두 그룹의 표본 수가 같지는 않아도 돼요. 다만, 실험 분석 시에 표본 수가 다르다는 것을 고려하여 bias를 제거하여 분석해야 합니다. 두 그룹의 분산이 다른 경우가 해당돼요.
 
Q. post-privacy issue 이후로 많은 모바일 디바이스/브라우저에서 unique user 정합성 이슈가 발견되고 있는데요. 웹/비로그인 방식의 서비스에서는 50~70%까지도 사용자 인식이 안 되는 상황입니다. A/B 테스트 분기 처리에서부터 B를 봤던 사용자를 인식 못하고 재방문 시 A를 다시 보여주는 문제가 있고, 분석 환경에서도 같은 사용자를 인식하지 못해 다른 유저로 분석하기도 합니다. 위 이유로 저는 웹/비로그인 서비스에서 A/B테스트를 하는 걸 조심하고 있는데요. 비슷한 경험을 하고 계시는지, 어떻게 대응하고 계시는지 궁금합니다.
선미: 얘기해주신 이슈 때문에 마케팅이며 실험이며 다들 어렵죠... 문제 상황과 해결 방법 모두 공감하고 동의합니다. 말씀해주신 것처럼 비로그인 유저들은 제외하고 실험하는 방법이 있을 수 있겠네요.
 
Q. p-value가 둘 다 유의미한 경우 더 낮은 p-value를 갖는 것이 더 좋은 실험이라고 할 수 있을까요?
예슬: 두 가지 다 유의미한 경우에는 말씀하신 것처럼 p-value가 더 낮은 것이 나오죠. 이런 경우에는 p-value가 더 낮은 안이 정말 더 좋은 경험인지 핵심 지표나 가드레일 지표로 체크하고 더 나은 경험을 제공했다는 것이 확실할 때 의사 결정 하는 것 같아요!
 
Q. 보민(진행자): 혹시 선미님 강연에서 어떤게 가장 기억에 남으시나요?
👩🏻‍💻: A/B 테스트에서 차이가 없을 때의 액션 아이템을 제시해줘서 감사했습니다. A/B 테스트와 관련된 굉장히 많은 글을 찾아봤음에도 해당 내용은 별로 없더라구요!
👩‍🦰: 통계적 유의성에만 관심이 있었는데 그 외에 고려해야 할 사항이 정말 많다는 걸 알게 되었습니다.
😮: 비즈니스적인 직관도 중요한 요소란 것을 알려주셔서 감사합니다.
🙋🏻‍♀️: p-value를 믿지 말라는 부분에서 통계적 수치가 절대적으로 의사 결정에 크게 영향을 주지 않는다는 것이 인상 깊었습니다.
👨🏻: A/B를 꼭 선택하는 게 아니라 비슷하다고 결론짓는 것이 때론 좋을 수도 있겠다는 점이 기억에 남네요!
 

기타 Q&A

Q. 실무에서 실제로 MDE를 계산 후 실험을 진행하시나요?
예슬: 실험마다 MDE도 체크하고 있어요.
 
Q. 시간의 흐름을 발생하는 자연 값보다는 큰 값으로 본다는 게 어떤 의미인가요?
예슬: 예를 들어서 평소에 전환율이 10% 평균을 기준으로 +-1% 정도가 유지된다면 그것보다는 조금 더 크게 MDE를 잡아보는 게 유의미할 수 있다는 의미였어요!
 
Q. 실험 결과를 분석하다가 아웃라이어 때문에 문제를 많이 겪는데, 검색 서비스의 실험 결과에서 자주 확인되는 아웃라이어는 어떤 케이스가 있는지 궁금합니다.
Demi: 실험에서 유저 분기가 잘된다면 아웃라이어도 높은 확률도 5:5로 분기돼요. 그리고 그냥 전환율이 아닌, 유저당 전환율을 지표로 세우면 아웃라이어의 영향도를 줄일 수 있어요.
예슬: Demi님이 말씀하신 것과 더불어 유저 기준으로 집계된 데이터로 지표를 구하기 때문에 아웃라이어의 영향을 줄일 수 있어요. 하지만 이것도 어느 정도 트래픽이 보장된 경우의 이야기이고, 만약 한 명의 아웃라이어가 전체 지표를 흔들 정도의 사이즈라면 제거하고 보거나 실험을 할 수 있는 트래픽인지 고민해보는 것을 추천드려요. 만약 아웃라이어가 한 쪽에 몰린다면 실험 분기를 제대로 했는지를 체크해보는 것도 방법이 될 것 같아요.

이렇게 유익한 이야기가 오가는 세미나 이번 달에도 계속됩니다!

세미나 보러가기
송혜정데이터 분석가

3년차 데이터 분석가. 콘텐츠 기업 리디에서 데이터 분석가로 근무했고, 현재는 데이터리안에서 강의 기획, 부트캠프 운영, 콘텐츠 제작 등을 진행하고 있습니다.

함께 읽어보면 좋은 글

데이터 분석에 대한
더 많은 글들을 보고 싶다면?

데이터분석은 데이터리안과 함께

Blog

주식회사 데이터리안