송혜정11월 세미나 [데이터 실험 문화의 핵심: A/B 테스트] 실시간 질의응답
월간 데이터리안 11월 세미나에서는 A/B 테스트에 대한 이야기를 나눠봤습니다. 강연 중 실시간으로 진행된 질의응답의 일부를 공유합니다.
- Demi “직관만 믿고 까불었다가 망한 PM의 사연”
- 선미 “알아두면 쓸데있는 잡다한 A/B 테스트 이야기”
두 강연에서 어떤 이야기가 오고갔는지 아래에서 확인해보세요 :)
월간 데이터리안 세미나의 분위기도 함께 느껴보세요!
[직관만 믿고 까불었다가 망한 PM의 사연] Q&A
Q. 키워드 알림 등록 버튼 변경 시, 키워드 등록률 자체가 핵심 지표였는지 궁금합니다. 등록률이 떨어진 것 말고도 실험 자체의 p-value도 유의하게 나오지 않았던 건가요?
Demi: 네, 키워드 알림 등록 전환율이 핵심 지표였어요. 1차에서는 실험하지 않고 배포한 것이었고, 지표 차이가 워낙 커서 따로 p-value는 계산하지 않았는데 당연히 0에 수렴했을 거예요.
Q. 실험 시에 유저를 어떤 기준으로 나누셨나요? 단순하게 서비스를 사용하는 유저들을 네 그룹으로 나누어서 테스트하신 걸까요?
Demi: 실험할 때 유저를 랜덤하게, 그리고 통계적으로 유의미하게 분기 처리하는 방법이 있어요. 그런 부분들은 사내 실험 플랫폼에서 기능을 지원해주고 있어요.
Q. 사내 플랫폼을 사용할 수 있다면 통계적인 방법론을 직접 적용할 줄 모르더라도 A/B 테스트 관련 실무를 하는 데 무리가 없나요?
Demi: 저희 사내 실험 플랫폼에서는 누구나 실험을 쉽게 할 수 있는 기능들을 제공하고 있어요. 실험 결과도 자동으로 분석해주는 기능이 있어서 분석가가 아니더라도 주도적으로 실험을 진행하고 의사 결정 할 수 있어요. 물론 과정에서 분석가의 리뷰를 받으면서 진행합니다.
Q. 사내에 A/B 테스트 플랫폼을 직접 만들 인력이 없는 경우에 쓸 수 있는 다른 대안이 있을까요?
Demi: 외부 실험 플랫폼을 구매해서 쓸 수도 있고, 구글의 firebase를 쓸 수도 있어요. 자체 구축이 어렵다면 외부 플랫폼을 쓰시면 됩니다!
Q. A/B 테스트를 사내 플랫폼을 통해 누구나 할 수 있다면, 해당 업무에서 데이터 분석가의 역할은 자연스럽게 좀 줄어들게 되나요? 저는 데이터 분석가로 일하고 있는데, 그런 환경에서는 분석가가 어떤 역할에 강점을 가지는지 궁금합니다.
예슬: 실험은 누구나 할 수 있지만 실험이 유의미하게 진행되도록 가이드하는 역할을 데이터 분석가가 해요. 실험 과정 과정에서 데이터 분석가의 도움이 필요하고, 어떤 것을 실험할지 분석하는 것에도 분석가의 역할이 필요하기 때문에 분석가는 더 전문적인 영역에서 활약할 수 있어요.
Q. 신규 기능 개발에 관한 비용 산정은 어떤 분이 도와주시나요?
Demi: 같은 팀 안에 개발자분들이 있어서 항상 프로젝트할 때 PM과 개발자가 초기 기획 단계에서부터 의견 교류를 활발하게 해요. 실무 개발자가 개발 리소스를 산정해주고 있어요. 개발 사이즈가 클 경우 개발 리드 분이 의견을 주시기도 합니다.
Q. A/B 테스트 시 가설 설정을 할 때 그 가설이 맞는지를 어떻게 판단하고 실험을 진행하시나요?
Demi: 가설을 검증하기 위해서 A/B 테스트를 해요. 가장 유력한 가설을 세우기 위해서 데이터 분석, 사용자 테스트, 팀내 논의를 해요. A/B 테스트는 가설 검증이 목표이기 때문에, ‘가설이 틀렸네’ 라는 것도 좋은 레슨런입니다.
Q. 실험 기간을 보통 2주 ~ 한 달로 잡는 것 같은데, 한 달 이상에 실험 기간을 잡는 것에 대해서 어떻게 생각하시나요?
Demi: 이건 제품에 따라 달라서 정답은 따로 없어요. 저희 서비스의 경우 재방문 주기가 짧아 한 달 이상 실험을 할 경우, 의사 결정이 늘어지기 때문에 그렇게 하는 경우는 많이는 없어요. 하지만 어떤 제품은 방문 주기가 길 수 있기 때문에 그럴 경우 한 달 이상 실험을 할 수도 있을 것 같아요.
Q. 보민(진행자): 혹시 Demi님 강연에서 어떤게 가장 기억에 남으시나요?
😆: 쉽게 들을 수 없는 실무 얘기를 해주셔서 좋았어요. 남의 회사 얘기 듣는 거 너무 재밌네요.
👩🏻💻: 직관과 데이터 사이 밸런스를 고민하는 부분이 와닿았어요!
😮: 실패를 Sunshining 한 과정이 너무 멋졌습니다!
[알아두면 쓸데있는 잡다한 A/B 테스트 이야기] Q&A
Q. A/B 테스트 시, A 표본 수와 B 표본 수를 완전 동일하게 해야 하나요?
예슬: 동일 기간 내에 실험하는 경우 두 그룹의 표본 수가 같지는 않아도 돼요. 다만, 실험 분석 시에 표본 수가 다르다는 것을 고려하여 bias를 제거하여 분석해야 합니다. 두 그룹의 분산이 다른 경우가 해당돼요.
Q. post-privacy issue 이후로 많은 모바일 디바이스/브라우저에서 unique user 정합성 이슈가 발견되고 있는데요. 웹/비로그인 방식의 서비스에서는 50~70%까지도 사용자 인식이 안 되는 상황입니다. A/B 테스트 분기 처리에서부터 B를 봤던 사용자를 인식 못하고 재방문 시 A를 다시 보여주는 문제가 있고, 분석 환경에서도 같은 사용자를 인식하지 못해 다른 유저로 분석하기도 합니다. 위 이유로 저는 웹/비로그인 서비스에서 A/B테스트를 하는 걸 조심하고 있는데요. 비슷한 경험을 하고 계시는지, 어떻게 대응하고 계시는지 궁금합니다.
선미: 얘기해주신 이슈 때문에 마케팅이며 실험이며 다들 어렵죠... 문제 상황과 해결 방법 모두 공감하고 동의합니다. 말씀해주신 것처럼 비로그인 유저들은 제외하고 실험하는 방법이 있을 수 있겠네요.
Q. p-value가 둘 다 유의미한 경우 더 낮은 p-value를 갖는 것이 더 좋은 실험이라고 할 수 있을까요?
예슬: 두 가지 다 유의미한 경우에는 말씀하신 것처럼 p-value가 더 낮은 것이 나오죠. 이런 경우에는 p-value가 더 낮은 안이 정말 더 좋은 경험인지 핵심 지표나 가드레일 지표로 체크하고 더 나은 경험을 제공했다는 것이 확실할 때 의사 결정 하는 것 같아요!
Q. 보민(진행자): 혹시 선미님 강연에서 어떤게 가장 기억에 남으시나요?
👩🏻💻: A/B 테스트에서 차이가 없을 때의 액션 아이템을 제시해줘서 감사했습니다. A/B 테스트와 관련된 굉장히 많은 글을 찾아봤음에도 해당 내용은 별로 없더라구요!
👩🦰: 통계적 유의성에만 관심이 있었는데 그 외에 고려해야 할 사항이 정말 많다는 걸 알게 되었습니다.
😮: 비즈니스적인 직관도 중요한 요소란 것을 알려주셔서 감사합니다.
🙋🏻♀️: p-value를 믿지 말라는 부분에서 통계적 수치가 절대적으로 의사 결정에 크게 영향을 주지 않는다는 것이 인상 깊었습니다.
👨🏻: A/B를 꼭 선택하는 게 아니라 비슷하다고 결론짓는 것이 때론 좋을 수도 있겠다는 점이 기억에 남네요!
기타 Q&A
Q. 실무에서 실제로 MDE를 계산 후 실험을 진행하시나요?
예슬: 실험마다 MDE도 체크하고 있어요.
Q. 시간의 흐름을 발생하는 자연 값보다는 큰 값으로 본다는 게 어떤 의미인가요?
예슬: 예를 들어서 평소에 전환율이 10% 평균을 기준으로 +-1% 정도가 유지된다면 그것보다는 조금 더 크게 MDE를 잡아보는 게 유의미할 수 있다는 의미였어요!
Q. 실험 결과를 분석하다가 아웃라이어 때문에 문제를 많이 겪는데, 검색 서비스의 실험 결과에서 자주 확인되는 아웃라이어는 어떤 케이스가 있는지 궁금합니다.
Demi: 실험에서 유저 분기가 잘된다면 아웃라이어도 높은 확률도 5:5로 분기돼요. 그리고 그냥 전환율이 아닌, 유저당 전환율을 지표로 세우면 아웃라이어의 영향도를 줄일 수 있어요.
예슬: Demi님이 말씀하신 것과 더불어 유저 기준으로 집계된 데이터로 지표를 구하기 때문에 아웃라이어의 영향을 줄일 수 있어요. 하지만 이것도 어느 정도 트래픽이 보장된 경우의 이야기이고, 만약 한 명의 아웃라이어가 전체 지표를 흔들 정도의 사이즈라면 제거하고 보거나 실험을 할 수 있는 트래픽인지 고민해보는 것을 추천드려요. 만약 아웃라이어가 한 쪽에 몰린다면 실험 분기를 제대로 했는지를 체크해보는 것도 방법이 될 것 같아요.
