A/B 테스트를 실패해도 괜찮은 이유
<a.k.a 실험 공장 생존기>
[데이터리안] 여기어때 AB테스트 (1).jpg
안녕하세요. 여기어때 Product UX팀의 UX 디자이너 이태서(Marc)입니다. 저는 여기어때의 A/B 테스트 공장이라고도 불리는 풀스택팀(Full-stack Team)에서 UX 디자인을 담당하고 있어요. 풀스택팀은 PO(Product Owner), 개발자, 디자이너, QA(Quality Assurance), DA(Data Analyst) 등 다양한 직군이 모여 특정 KPI 달성을 위해 함께 달리는 조직입니다.
데이터와 A/B 테스팅에 갈증을 느끼던 저는 여기어때 입사와 동시에 풀스택 팀에 합류하게 되었어요. 반년 동안 31개의 피처를 개발했고, 그중 17개의 피처를 배포하는 등 치열한 한 해를 보냈어요. 그 수많은 실험들을 직접 경험하며 성공과 실패 각각 맛봤지만, 이번 글에서는 성공과 실패가 공존했던 실험에 대해서 소개해보고자 해요.
숙소를 미리 예약하도록 유도하자
2023년 풀스택 팀의 주요 목표 중 하나는 ‘사용자가 숙소 예약을 좀 더 일찍 하도록 유도하자’였어요. 즉, 사용자가 숙소 구매를 하는 날짜와 체크인하는 날짜 사이의 간격을 벌리는 게 목표였죠. 예약을 일찍 하도록 유도한 이유는 사용자가 평소 가고 싶던 숙소를 놓쳐버리는 문제를 해결할 수 있고, 비즈니스 측면에서는 미래의 재고 판매까지 증가시켜 숙소 운영자에게 여기어때의 강점을 어필할 수 있다고 생각했어요. 이 목표를 이루기 위해 PO와 UX팀은 수많은 실험을 아이데이션하고 A/B 테스트를 진행했어요. 실험 중 몇 가지는 여기어때가 가지고 있는 좋은 기회이자 재료인 ‘특가’를 활용했어요. 특가 중 ‘미리예약 특가(숙소 운영자가 설정한 기간 내에 예약 시 할인된 가격으로 상품을 제공)’를 실험에 녹여보기로 했죠.
[데이터리안] 여기어때 AB테스트 (2).png
본격적인 실험에 앞서 ‘사용자는 특가 기간을 인지하지 못하기 때문에 숙소를 더 일찍 예약하지 않는다’라는 구체적인 문제점을 발견하게 됩니다. 이 문제를 해결하기 위해서 PO분들의 제안으로 여가 플랫폼의 꽃인 숙소 상세 페이지를 활용해 실험을 진행했어요. 이름하여 <상세 페이지 캘린더에서 미리예약 특가 기간 노출시키기> 실험입니다.
PO와 ‘함께’ 실험 설계하기
더 구체적으로 이 실험의 방향성에 대해 합의를 맞추기 위해 PO와 함께 원페이저를 작성합니다. 여기어때 프로덕트와 UX는 원페이저(1-pager)를 적극 활용하여 협업하고 있습니다. 협업과 공감을 바탕으로 소통할 수 있도록 PO와 UX 팀은 끊임없이 이야기를 나누면서 원페이저를 작성하고 있는데요. 원페이저(1-pager)를 바탕으로 어떻게 협업하는지 궁금하시다면 풀스택 팀의 멤버인 UX Writer 디디의 글을 추천할게요.


<가설 세우기>
AS-IS
Problem Statement: 숙소 상세 페이지에서 사용자는 미리예약 특가 정보를 확인하기 어렵다.
사용자는 미리예약 특가가 적용된 상품을 구매할 수 있지만 AS-IS에서는 특가 정보를 확인할 길이 없었어요.
[데이터리안] 여기어때 AB테스트 (3).png
TO-BE
위 문제점을 바탕으로 ‘사용자가 설정한 날짜가 특가 기간 내에 부합하지 않을 시 미리예약 특가 기간 정보를 리스트 UI로 노출해 사용자가 날짜 변경하도록 유도’해 보기로 했어요. 그렇게 탄생한 가설은 아래와 같아요.
Hypothesis: 사용자는 여행 일정을 설정하는 캘린더 UI 근처에 미리 예약 날짜의 특가 정보를 본다면, 유연한 일정 계획을 가지고 있는 사용자는 미리예약 특가 기간 중 하나의 기간으로 날짜를 변경해 예약할 것이다.
[데이터리안] 여기어때 AB테스트 (4).webp
End-to-end 놓치지 않기
저는 UX에서 절대 놓쳐서는 안 되는 사용자의 end-to-end 여정을 살피다 문제 하나를 더 발견하죠. AS-IS 디자인에서는 고객이 미리예약 특가 기간으로 날짜를 설정해도 이 특가 기간들을 확인하기가 어렵다는 것이었어요. 또, 사용자가 특가 기간에 맞게 날짜를 설정해도 사용자가 알맞게 날짜를 변경했는지 또한 인지하기가 어려웠고, 설정 이후에 어떤 액션을 취해야 할지 모호했어요. 더군다나 AS-IS 디자인에서 미리예약 특가 기간을 유일하게 알 수 있는 부분은 날짜 영역 밑의 각 아이템의 미리예약 특가 배지(Badge)들뿐이었죠.
[데이터리안] 여기어때 AB테스트 (5).png
그래서 PO분에게 특가 기간에 부합한 날짜를 설정한 케이스도 고려하자는 제안을 했습니다. 위에서 말씀드린 대로 사용자가 설정한 날짜 값이 미리예약 특가 기간 내에 부합한다면, 미리예약 특가 기간의 혜택을 받을 수 있다는 넛징과 함께 아래 객실 아이템 카드에서 직접 할인 혜택을 확인하라는 문구를 추가했어요. 더불어, 객실 아이템 카드 내 배지를 더 빠르게 인지할 수 있도록 문구 옆에 동일한 배지 UI로 연결성을 표현해 주기로 했어요.
[데이터리안] 여기어때 AB테스트 (6).png
다시 정리해보면
이렇게 솔루션의 방향성을 디벨롭 후 총 두 케이스로 나눠 실험을 진행했어요. 사용자 A는 개선 전 AS-IS 화면을, 사용자 B는 사용자가 설정한 날짜에 따라 다른 화면을 보게 됩니다.
예를 들어,
상황 1: 사용자가 설정한 날짜 값이 특가 기간 내에 부합하지 않을 시
사장님들이 설정한 ‘미리예약 특가 기간’들을 목록화해 노출한다.
상황 2: 사용자가 설정한 날짜 값이 특가 기간 내에 부합할 시
이미 미리예약 특가 기간의 혜택을 받을 수 있는 사용자이므로 객실 아이템 카드에서 할인・혜택을 확인할 수 있다는 문구를 추가한다.
상황 1에서 유도가 되어 날짜를 변경한 사용자들 또한 상황 2에 해당하는 화면이 노출될 것이다.
성공 속 실패, 실패 속 성공
이로써 2주 간의 실험 끝에 예약 전환율과 총매출액 상승에 생각보다 크게 기여하게 되어 해당 피처를 성공적으로 런칭하게 됩니다. 이커머스(e-commerce)의 꽃인 예약 전환율과 매출액 상승에 대한 궁금증으로 저와 PO는 의심을 멈추지 않고 실험 데이터 결과를 분석했습니다. 분석하다 보니 예상치 못한 인사이트를 여럿 얻게 되었어요.
<첫 번째 인사이트>
혹시 이 실험의 목적을 기억하시나요? 사용자가 숙소 예약을 더 일찍 하게 유도하려는 목표는 예상과 다르게 저조했습니다. 물론 비교적 낮은 실험 모수가 이유일 수도 있지만, 날짜 변경 버튼의 클릭률도 확연하게 오르진 않았습니다. 추가로, 해당 미리예약 특가가 적용되는 날짜로 변경했는지 또한 판단하기 어려웠습니다.
[데이터리안] 여기어때 AB테스트 (8).png
<두 번째 인사이트>
데이터가 들어오는 구조를 미리 구체적으로 셋업 하지 못해 이 실험이 예약 전환율과 매출액 상승에 기여했다는 결론을 명확하게 내리기 어려웠어요. 첫 번째 인사이트에 더불어 사용자에게 각 상황에 따라 노출되는 화면 데이터를 구분 지어 수집하지 않고 일괄적으로 수집했기 때문에 예약 전환율과 매출액 상승이라는 성공을 가설로만 추측할 수밖에 없었죠.
‘오히려 이후에 추가한 상황 2의 솔루션이 사용자에게 명확하게 넛징이 되어 구매 전환율과 매출액 상승에 기여를 했다’는 추론이 아이러니하게도 성공 요인이었습니다. 앞으로 이번과 같은 불명확한 성공 요인을 피하기 위해선 다음과 같은 고민과 준비가 필요할 것 같아요. UX 디자이너로서 더욱 구체적으로 내가 디자인한 UX/UI가 어떻게, 또 어떤 방식으로 사용자에게 도움이 되고 있는지를 파악해야 하고, 데이터 수집 방식에 대해 feasibility check(실현가능성 확인)를 필수로 해야겠다고 느꼈습니다.
그럼에도 불구하고
이번 실험이 유독 인상 깊었던 이유는 실험 성공과 함께 피처를 런칭하면서 앞으로 적용하거나 시도해 볼 수 있는 learning들이 많았어요. 또, 성공했든 실패했든, 실험 하나하나가 굉장히 소중하고 포텐셜이 넘친다는 생각을 갖게 되었습니다.
또, 사용자들에게 공감하다 보면 솔루션의 방향성도 달라지고, 해결하고자 했던 문제에서 또 다른 문제점을 발견해 해결하기도 하는 것 같아요. 중요한 건 성공 혹은 실패의 원인을 집요하게 파고들며 궁금해하는 태도인 것 같습니다.
그간 진행했던 수많은 실험 중 하나의 사례이지만, 이외에도 A/B 테스팅 공장에서 실패한 사례도 성공한 사례도 많습니다. 오늘 소개한 실험은 성공했지만, 작은 실패도 존재했죠. 하지만 결론적으로는 이 수많은 작은 실험들에서 나온 learning을 양분 삼아 다음 실험을 준비하고, 새로운 실험에 영향을 미치고, 다른 팀원들을 설득할 재료로 어떻게 사용할 수 있느냐에서 따라 달라지는 듯해요. 실제로 저희는 이 수많은 실험의 인사이트들을 협업 과정에서 매우 유용하게 활용하고 있습니다. 오늘 이야기는 이만 마무리 하고, 저는 이제 슬슬 공장에 돌아가 남은 실험을 진행하러 가보겠습니다.
✔️ 글쓴이를 더 알고 싶다면?: 링크드인
그래픽: 김제린(Riny) Visual Interaction Designer
편집: 이소연(Jetty) UX Writer
도움: 유다정(Didi) UX Writer, 김보경(Nami) Product Owner
Editor 혜정’s comment
이 글의 원문은 여기어때 기술 블로그에 업로드 된 “A/B 테스트를 실패해도 괜찮은 이유”입니다.


conversion_type

시리즈 내 순서

conversion_text

멤버 전용

대표 이미지

공개 가능

작성일

예상 읽기 시간

전환 텍스트

글쓴이

시리즈

상단 노출

전환 유형

요약

제목

중요한 건 성공 혹은 실패의 원인을 집요하게 파고들며 궁금해하는 태도인 것 같습니다

A/B 테스트를 실패해도 괜찮은 이유

UX에 대한 의사결정을 더욱 견고하게 만들어줄 뿐 아니라 이해관계자들과의 협의도 수월해지고 설득력도 강해질 거예요

UX Designer가 데이터를 만나면?

숙소를 미리 예약하도록 유도하자

A/B 테스트를 실패해도 괜찮은 이유

Contents

🏖️ 여기어때 데이터 분석 사례 모아보기

함께 읽어보면 좋은 글

푸시 메시지 타이밍 찾기

개별 사용자를 고려한 이탈 측정하기

퍼널은 줄일수록 좋은걸까?

데이터 분석 소식을
한 달에 한 번 받아보세요

A/B 테스트를 실패해도 괜찮은 이유

Contents

🏖️ 여기어때 데이터 분석 사례 모아보기

함께 읽어보면 좋은 글

푸시 메시지 타이밍 찾기

개별 사용자를 고려한 이탈 측정하기

퍼널은 줄일수록 좋은걸까?

데이터 분석 소식을 한 달에 한 번 받아보세요

데이터 분석 소식을
한 달에 한 번 받아보세요