사용자의 클릭, 어떻게 유도할 수 있을까?
안녕하세요! 라프텔 프로덕트 디자이너 매미입니다. 지금부터 홈 콜렉션 UI A/B 테스트의 실험 과정과 이에 배운 점을 공유해보려고 합니다.
배경
실험 배경은 '어떻게 하면 사용자가 더 많은 작품을 클릭하고 재생할 수 있을까?' 였습니다. 라프텔은 애니메이션 전문 OTT 서비스이기 때문에 사용자가 작품을 발견하고 재생하는 과정에서 작품 자체의 매력과 더불어 그 매력에 대한 흥미를 극대화 시키는 것 또한 UX 적으로 고민하고 있습니다.
가설
'홈 화면에 노출되는 콜렉션의 UI에 변화를 주면, 클릭률과 재생 전환율에 차이가 있지 않을까?' 라는 가설을 세웠습니다.
* 콜렉션이란? 같은 타이틀로 묶여 있는 작품 모음을 말합니다. (예시. ‘라프텔에서만 볼 수 있는 독점 작품!’ 등)
라프텔_App-Web 홈 화면의 콜렉션들.webp
목표
현재 홈 콜렉션 평균 클릭률을 상승시킬 수 있는 UI를 실험을 통해 찾아 적용하기입니다.
테스트 시안
아이디어를 모은 후, 최종적으로 테스트에 쓰일 시안 3가지를 제작하여 기준안과 비교하였습니다.
라프텔_기준안과 테스트 시안들.jpg
기준안 : 현재 홈 화면에 운영하고 있는 가로 키비주얼 이미지
A안
세로 키비주얼 이미지 + 타이틀 로고로 가시성 강화
짧은 줄거리 정보로 작품 흥미 올리기
B안
Full 사이즈 가로 키비주얼 이미지 + 타이틀 로고로 가시성 및 콘텐츠 집중도 강화
짧은 줄거리와 장르 정보로 작품 흥미 올리기
C안
작품의 하이라이트 영상 자동 재생으로 흥미 올리기
작품의 분위기를 간단하게 파악할 수 있도록 장르 정보 노출
실험 준비
최적화된 실험을 위해 각 팀마다의 요구사항을 정리하고 작업을 요청하는 일들이 필요했습니다.
제가 속한 프로덕트 디자인팀은 시안 작업 외에도 콜렉션을 어떤 위치에 고정 시키면 좋을지, 콜렉션 내 작품 순서를 어떻게 정렬하면 좋을지 등을 고민하였습니다.
개발팀과는 주로 처리 방식에 대한 논의가 이뤄졌습니다. 특히, C안의 경우 자동으로 하이라이트 영상이 재생되기 때문에 스크롤(가로/세로)에 따라 재생이 언제 시작되고 언제 끝나는지 등에 대한 정의가 필요했습니다. 또한, 앱 사이즈 및 성능 등의 이슈를 고려했을 때 가급적 서버에서 작업을 하는 게 좋겠다는 프론트엔드의 의견을 수용하여 실제 개발 시에는 백엔드의 도움을 많이 받았습니다.
그로스팀과는 지표에 관해 이야기를 나눴습니다. 먼저 프로덕트 디자인팀 내에서 어떤 지표를 보면 좋을지 미리 고민하고 그로스팀의 피드백을 받아 좀 더 뾰족하게 수정해나갔습니다.
마지막으로 운영팀과의 협업이 매우 중요했습니다. 천상계 애니 덕후 분들이 모여있는 운영팀의 오랜 세월 다져진 빅데이터x전자두뇌(?) 그리고 그로스팀의 정량적 데이터를 기반으로 테스트에 쓰이기 적당한 작품을 추려냈습니다. 그리고 일부 작품들의 경우 키비주얼 이미지를 자유롭게 쓰기에 다소 어려움이 있고, 사용하더라도 콘텐츠 제공사의 감수와 가이드를 지켜야 하는 등 여러 제약이 있었기 때문에 이 부분을 운영팀에서 적극적으로 리뷰 해주고 긴밀히 많은 도움을 주었습니다.
실험 조건
실험 조건은 다음과 같습니다.
기간 : 2023.08.28 ~ 2023.09.11 약 2주 간 진행
플랫폼 : 안드로이드 & iOS 앱
대상자 : 멤버십 사용자 중 해당 콜렉션에 노출된 사용자
성공 지표
지표 설정은 그로스팀과 함께 진행하였으며 다음과 같습니다.
핵심 지표 : 콜렉션 노출 대비 클릭률
현재 홈 화면의 평균 콜렉션 클릭률보다 높은 15% 이상의 수치가 나오는 것을 목표로 하였습니다.
클릭률을 핵심 지표로 잡은 이유는 실험의 신뢰도 측면에서 제일 정확한 지표였기 때문입니다.
서브 지표 : 재생 전환율
재생 전환율은 10% 이상을 목표로 잡았습니다. 기준은 홈 콜렉션 → 작품 상세 페이지 → 플레이어로 이어진 동일 세션 내 UV로 정하였습니다.
재생 전환율을 서브 지표로 본 이유는 재생 전환 과정에서 교란변수가 너무 많았기 때문입니다. 비즈니스적 목표만 본다면 재생 전환율을 핵심 지표로 보는 게 맞지만, 전환에 영향을 주는 변수가 많고 그 통제 또한 쉽지 않았기 때문에 실험에 대한 신뢰도가 떨어져 서브 지표로 활용하였습니다.
* UV란? Unique Visitor의 약자로, 순 방문자 수를 말합니다. 1명의 방문자가 페이지를 여러 번 방문해도 중복을 제외하고 한 번의 방문만을 카운트하는 것을 의미합니다.
실험 결과
라프텔_안드로이드 클릭률 및 재생률.jpg
라프텔_iOS 클릭률 및 재생률.webp
위 이미지는 안드로이드와 iOS의 Firebase 내용이며, 실험 결과를 요약하면 다음과 같습니다.
A안의 클릭률, 재생 전환율이 가장 높다.
콜렉션 평균 클릭률
A안 > 기준안 > B,C안
콜렉션 평균 재생 전환율
A안 > C안 > 기준안 > B안
아래에서 각각의 내용을 좀 더 자세히 살펴보겠습니다.
1. 클릭률 테스트 결과
라프텔_작품별 클릭 비교.webp
안드로이드와 iOS를 합한 전체 지표 기준으로 A안의 평균 클릭률이 18.1%로 다른 안보다 훨씬 높다는 것을 알 수 있습니다. 콜렉션 안에 각각의 작품별 클릭도 비교해 보았는데요. 전반적으로 A안이 다른 안들에 비해 높습니다.
그리고 두 번째 작품부터 기준안과 A안의 클릭 숫자가 튀는 것을 볼 수 있습니다. 이는 기준안과 A안이 한 화면에 2개의 작품이 노출되고 B안과 C안은 1개의 작품이 노출되기 때문이라 볼 수 있는데, 이를 통해 ‘한 화면 안에 노출되는 작품 수가 많아야 클릭률이 높아진다’라는 인사이트를 얻을 수 있었습니다.
기준안과 비교해보면 C안도 수치가 나쁘지 않지만 두 번째 작품의 클릭이 기준안과 A안에 비해 적기 때문에 콜렉션 측면에서 보자면 한 화면에 작품 노출이 많이 되는게 클릭률에 더 효과적이라고 짐작해볼 수 있습니다.
물론, IP파워와 섬네일의 영향도 무시할 수 없습니다. 예를 들어 두 번째 작품이 IP파워가 낮거나 섬네일이 매력적이지 않았다면 다른 결과가 나왔을 수도 있습니다. 하지만 기준안과 A안을 통해 전체적으로 미뤄봤을 때, 한 화면 안에 노출 작품 개수가 많은 것이 클릭 유도에 비교적 긍정적인 영향을 끼친다고 해석 해볼 수 있을 것 같습니다.
2. 재생 전환율 테스트 결과
라프텔_작품별 재생 비교.webp
안드로이드와 iOS를 합한 전체 지표 기준으로 A안의 평균 재생 전환율이 4%로 다른 안보다 높다는 것을 알 수 있습니다.
콜렉션 안에 각각의 작품별 재생도 A안이 다른 안들에 비해 높은 걸 볼 수 있습니다. 그리고 클릭률과 마찬가지로 두 번째 작품에서 기준안과 A안의 재생 숫자가 튀는 것을 볼 수 있습니다.
한 가지 특이한 것은 평균 클릭률에선 C안이 기준안보다 낮았지만, 재생 전환율은 오히려 높다는 점입니다. 이를 통해 클릭률과 별개로 ‘하이라이트 영상이 재생전환에는 좀 더 긍정적 영향이 있다’라는 인사이트를 얻을 수 있었습니다.
실제 프로덕트에 적용하기
위 실험 결과에 따라 최종적으로 A안이 선택되었습니다.(짝짝)
실제 프로덕트 적용을 위해 해당 안을 어떻게 활용할지에 대한 논의를 하였고, 작품 선정과 리소스 등을 고려하여 이 부분은 운영팀이 주도하는 게 더 옳다고 판단하여 운영팀의 재량으로 넘기게 되었습니다.
이후 저는 개발자와 함께 태블릿 시안을 추가로 작업하고 이제 이 실험은 후련한 마음으로 떠나보내게 되었습니다.(…인 줄 알았지만 예상치 못한 문제가 발생하여 마지막에 다시 소환된 건 비밀)
배운 점
1. 한 단계 더 들어가 숨겨진 인사이트를 찾자.
실험 결과로 한 화면에 여러 개의 작품을 노출하는 것이 클릭과 재생을 높이는데 좀 더 효과적일 수 있다는 인사이트를 얻었고 이를 통해 또 다른 가설을 만들어낼 수 있었습니다.
단순히 A안의 형태가 지표가 더 좋구나! 에서 끝나는 게 아니라 이것이 왜 좋았을지 한 번 더 깊게 사고해 보는 과정이 필요하다는 것을 깨달았습니다.
2. 실험에 영향을 줄 수 있는 것들을 좀 더 면밀히 검토하자.
A/B 테스트 시 잘 놓치는 부분 중 하나가 바로 다양한 변수를 고려하지 않는 것입니다.
사실 실험의 초반 주제는 라프텔 오리지널 작품들을 사용자들에게 더 잘 알리는 것이었습니다. 그래서 홈 화면에 오리지널 콜렉션을 다양한 레이아웃으로 실험하여 재생 전환율을 높이는 것이 최종 목표였습니다.
하지만 라프텔 오리지널 작품들의 특정 장르에 대한 큰 호불호, 작품 시청 모수 등의 문제로 생각보다 실험 리스크가 커서 진행할 수 없었습니다.
디자인뿐만 아니라 장르, IP파워, 노출 위치 등 여러 가지 요소들이 최대한 공평해야 실험 결과가 오염되지 않기 때문에 좀 더 명확한 가설 검증 및 리소스 낭비를 막기 위해서 앞으로는 사전에 실험에 영향을 줄 수 있는 것들에 대해 충분한 검토를 해야겠다고 생각했습니다.
3. 피드백을 빈번히 주고받는 것은 언제나 옳다.
2번의 문제를 알게 된 것은 그로스팀의 피드백 덕분이었습니다. 중간중간 계속 실험에 대한 피드백을 주고받았고 리스크 발견 후 슬프지만 결국 처음부터 다시 시작해야만 했습니다. 하지만 결과적으로 봤을 때, 좀 더 신뢰도 높은 실험을 진행하게 되어 리소스 낭비를 줄이고 유의미한 인사이트를 얻을 수 있었습니다.
4. 과정 역시 결과만큼 중요하다.
아무래도 가시적으로 수치가 보이다 보니 결과 데이터 그 자체에 집중하는 경우가 있는데, 결국 이러한 데이터가 프로덕트에 유의미하게 활용이 되려면 좋은 가설 수립, 알맞은 목표와 지표 설정, 다양한 피드백 등 그 과정이 매우 중요하다고 생각합니다. 설령 실험 결과가 좋지 않았다고 하더라도 위의 1, 2, 3번과 같은 과정이 있었기에 그것만으로도 매우 의미가 있었을거라 생각합니다.
마무리하며
제가 예상한 결과와 달랐고 또 생각보다 개선안의 수치 차이가 뚜렷하여 여러모로 놀란 실험이었습니다.
저는 사실 숫자와 친하지 않은 터라 지금도 여전히 A/B 테스트를 맡게 될 때면 막연히 데이터에 대한 두려움이 깔려있고 아직도 그 과정에서 이해가 안 될 때도 많아 여러 번 물어보고 어버버하곤 합니다. 하지만 결국 이러한 과정이 쌓이고 쌓여 실험에 대한 저만의 생각과 요령이 어느샌가 자연스레 생기게 되리라 믿습니다.
A/B 테스트는 단발성으로 끝나는 게 아니라 지속적인 반복을 통해 제품을 끊임없이 개선 시키는 것이 궁극적인 목표라고 생각합니다. 저희는 이제 이 A/B 테스트 결과를 바탕으로 또 다른 실험을 준비해 보려고 합니다.
읽어주셔서 감사합니다!
🔮 라프텔을 향한 여정을 시작해보시겠어요?
라프텔 채용 공고 바로가기
laftel.oopy.io
Editor 혜정’s comment
이 글의 원문은 라프텔 팀 블로그에 업로드 된 “사용자의 클릭, 어떻게 유도할 수 있을까?”입니다.
데이터 분석가로서 A/B 테스트를 바라볼 때, 보통은 '어떤 안이 더 좋은가?', '이 결과가 통계적으로 유의미한가?'와 같은 결과 분석에 집중하기 쉽습니다. 하지만 이 글을 읽으며 실험을 설계하는 단계가 얼마나 중요한지 다시 한번 생각하게 되었습니다. 테스트의 성공을 어떤 핵심 지표로 판단할지, 혹시나 놓칠 수 있는 부분은 없는지, 보조 지표는 무엇으로 할지, 테스트에 사용되는 작품은 어떤 기준으로 선별할지 등을 실험 전에 함께 정의하는 과정이 꼭 필요합니다. 이런 논의가 잘 이루어져야, 나중에 결과를 해석하는 단계에서 방향을 잃지 않고 명확한 결론을 내릴 수 있어요.
특히 이 글에서는 디자인, 개발, 그로스, 운영 등 여러 팀이 A/B 테스트라는 공동의 목표를 위해 어떻게 협업하는지 구체적으로 엿볼 수 있어서 좋았습니다. 그리고 데이터가 많은 과정에서 활용되는 것이 인상 깊었는데요. '아는 만큼 보인다'라는 말이 있죠. 데이터가 서비스 개선에 기여할 수 있음을 동료들에게 더 많이 보여준다면, 이처럼 데이터에 기반한 의사결정이 자연스러운 문화가 될 것이라고 생각합니다.


conversion_type

시리즈 내 순서

conversion_text

멤버 전용

대표 이미지

공개 가능

작성일

예상 읽기 시간

전환 텍스트

글쓴이

시리즈

상단 노출

전환 유형

요약

제목

멤버십 구매 유도 실험에서 발견한 버튼 레이블의 중요성

한 줄 수정했을 뿐인데, 클릭률이 20%에서 50%로!

라프텔의 홈 콜렉션 UI A/B 테스트 사례를 소개합니다

사용자의 클릭, 어떻게 유도할 수 있을까?

글로벌 라프텔의 소셜 로그인 도입 후기

소셜 로그인, 전환율에 얼마나 효과가 있을까?

사용자의 클릭, 어떻게 유도할 수 있을까?

Contents

데이터 분석 소식을
매월 받아보세요

🔮 라프텔 데이터 분석 사례 모아보기

함께 읽어보면 좋은 글

푸시 클릭률 6배를 만든 고객집중

A/B 테스트에서 p-value에 휘둘리지 않기

구독과 리텐션의 밸런스 게임

데이터 분석 소식을
매월 받아보세요데이터 분석 소식을 받아보세요

사용자의 클릭, 어떻게 유도할 수 있을까?

Contents

데이터 분석 소식을 매월 받아보세요

🔮 라프텔 데이터 분석 사례 모아보기

함께 읽어보면 좋은 글

푸시 클릭률 6배를 만든 고객집중

A/B 테스트에서 p-value에 휘둘리지 않기

구독과 리텐션의 밸런스 게임

데이터 분석 소식을 매월 받아보세요데이터 분석 소식을 받아보세요

데이터 분석 소식을
매월 받아보세요

데이터 분석 소식을
매월 받아보세요데이터 분석 소식을 받아보세요