딜라이트룸
지난 글, 첫 구독 유도의 중요성의 말미에, 온보딩 구매화면의 노출 시점을 더 앞당겨보는 실험을 진행 중이라 이야기 한 바 있다.
위와 같은 레슨에 이어, 아래와 같은 후속 실험이 현재 진행 중이다.온보딩 구매화면을 아예 띄우지 않던 때보다는 훨씬 큰 그로스를 만들어 냈지만, 띄우고 있는 시점을 달리 하면 더 큰 전환율을 만들어낼 수도 있다는 것을 알게 되었기에, 우리 제품에 맞는 최적의 시점을 찾는 실험을 이어 진행하고 있다.
온보딩 진행 간에 퍼널 이탈률이 높지 않다는 점을 감안하면, 더 이르게 노출시키는 것이 노출량 자체를 늘리는 데에는 크게 기여하지 못할 것이다. 오히려 지난 글에서 이야기한 바와 같이 더 이르게 노출시킬수록 노출량 증대보다는 구독으로의 전환율이 높아질 것이라는 강한 확신을 가지고 진행하는 실험이었다.
문제는 ‘어느 시점에 노출하는 것이 신규 유저 리텐션을 낮추지 않으면서 더 큰 구독 전환율을 발생시킬 것인가’였다. 무료 기능이 없는 완전한 프리미엄 서비스인 경우 딱히 리텐션을 염려하지 않아도 괜찮겠지만 일정 부분 무료로 기능을 제공하면서 광고 매출을 크게 발생시키고 있는 우리 알라미의 경우 리텐션이 가장 중요한 지표 중 하나이다. 매일매일 새로 유입되는 신규 유저 볼륨이 굉장히 크다 보니 D1 리텐션 소폭 증분에 따른 누적 DAU 증분 크기도 상당하다. 이에 더해 ‘신규 유저 리텐션 올리는 것’과 ‘구독 전환율 올리는 것’의 난이도를 따져보면 전자가 훨씬 어렵다는 것이 자명하기에 리텐션 하락폭과 구독 전환율 증분폭 대결에서 어지간하면 전자가 이길 수밖에 없다. 고로 리텐션 하락이 없는 실험군 발굴이 중요했다.
1. 핵심지표: 구독 전환율
역시나 구독 전환율은 구매화면이 더 이르게 노출된 실험군들의 압승이었다. OS 및 국가에 따라 그 상승폭은 조금씩 달랐으나 ‘더 이르게 노출시키는 실험군’이 가장 높은 전환율을 보였다는 점에서 모두 같았다. 상세 지표는 아래와 같다.
여기서 또 하나 재밌는 점은 ‘권한 앞’ 실험군과 대조군의 플로우상 차이점이 ‘권한 요청 다이얼로그를 구매화면 보다 먼저 보느냐 나중에 보느냐’의 차이뿐이라는 점이다.
그저 구매화면을 다이얼로그를 보여주기 전에 띄웠다는 이유로 전환율이 1.3배가 되다니… 생각보다 ‘이르게 노출’ 시키는 것만으로 크게 전환율이 늘어 놀랐다. 그럼 이들의 D1 리텐션은 무탈했을까?
2. 부정 지표: D1 리텐션
애석하게도 D1 리텐션이 하락하고 말았다.
여기서도 몇 가지 특이사항이 있었다. 이르게 노출시킬수록 구독 전환율이 높았던 것과 달리 리텐션이 가장 낮은 실험군은 ‘권한 앞’ 실험군이었다. 즉 해당 실험군이 전환율은 2등이면서 리텐션은 꼴찌였고 가장 이르게 노출시킨 실험군(‘가치소구 직후’)이 전환율은 1등이면서 리텐션은 꼴찌가 아니었다.
대조군과 권한 앞 실험군은 ‘권한 요청 다이얼로그를 구매화면 보다 먼저 보느냐 나중에 보느냐’의 차이뿐인데 리텐션 차이가 발생했다. 대조군 실험군 간 D1 리텐션 차이는 발생했으나 D7으로 갈수록 서로 수렴하는 경향을 보인다. 이 마지막 특징에서 나의 번뇌가 시작되었다.
- D7으로 갈수록 서로 리텐션 차이가 거의 없어진다면,구독 전환율이 높은 실험군을 위너로 선정해도 괜찮지 않을까?
- D1 리텐션의 가치가 크다는 것은 알겠는데 -2.2% 리텐션 하락과 50%의 구독 전환율 증진을 비교하면무엇이 더 제품 전체적으로 가치 있는 걸까?
3. 위너 선정: 리텐션 하락 vs 구독 전환율 증분
번뇌를 가라앉히기 위해 신규 유저 리텐션 1% 증분과 구독 전환율 1% 증분의 가치를 서로 비교해 보았다.
매일 유입되는 신규 유저의 볼륨이 A명일 때, 리텐션 B%의 증분은 DAU C명 증대로 이어졌고 광고 수익 LTV를 곱했을 때 D원의 추가 매출액이 산출되었다. 마찬가지로 동일한 신규 유저 볼륨 A명일 때 구독 전환율 E%의 증분은 구독자 F명 증대로 이어졌고 구독 LTV를 곱했을 때 G원의 추가 매출이 산출되었다.
여기에 마지막으로 리텐션을 올리는 것과 구독 전환율을 올리는 것의 난이도(실험의 타율) 차이를 감안하여 등식을 완성해 보았다. 그리고 최종적으로 수치적으로 반영하기 힘든 유저의 불쾌함 레벨도 고려했다.
그렇게 내린 결론은 대조군 승리….!
4. 후속 가설: 실험군별 유저들은 퍼널을 끝까지 갔을까?
퍽 아쉽지만 한 가지는 명확했다. 일단 노출 시점을 앞당기면 전환율은 오른다. 다른 한 가지가 명확하지 않았다. 리텐션은 왜 낮아진 걸까? 하여 실험군별 온보딩 플로우 퍼널을 추가로 살펴보았다.
그리고 결론은 아래와 같았다.
‘온보딩 과정에서 구매화면이 노출되면 그 순간 바로 앱을 이탈한다.’
홈화면에 도달하기도 전에 앱을 나가버리는 것이다. 왜 그러는 걸까? 이 부분이 해결되어야 리텐션을 보전하면서 구독 전환율을 높일 수 있다. 직관적으로 내린 가설은 ‘온보딩 이른 시점에 구매화면이 노출되면 알라미가 완전히 프리미엄 앱인 것으로 오해하고 앱을 바로 이탈한다.’이다. 그리하여 온보딩 구매화면에 대해서만 위와 같은 오해를 방지하기 위한 시안을 마련해보고 있다.
어쩌면 구매화면 이탈을 돕는 방향의 기획이 더해진 셈이기에 구독 전환율 상승폭은 소폭 떨어지겠지만 리텐션 보전이 더 중요한 과업이기에 다소 아이러니한 접근을 해본 것이다. 과연 이 실험군들은 멋지게 살아남을 수 있을 것인지…!
마지막으로, 딜라이트룸에서 알라미와 함께 아침을 바꿀 분들을 모십니다 ⏰
>> 여기서 지원하면 입사 축하금이 100만원 👀 <<
Editor 선미’s comment
이 글의 원문은 딜라이트룸(알라미) 테크 블로그에 업로드 된 “리텐션을 고려한 첫 구독 유도의 중요성”입니다.
이 글의 백미는 리텐션 하락과 구독 전환율 증분 두 가지의 가치를 매출을 기준으로 비교해본 것이라고 생각합니다. 신규 유저 리텐션 1% 증분과 구독 전환율 1% 증분의 가치를 고객의 LTV를 이용해 매출로 추산한거죠. 이런 계산 방식을 페르미 추정이라고도 합니다. 아주 러프한 계산법이지만 빠르고 효율적이게 의사결정을 하는데 도움을 줍니다. 글에서 만나니 반가워서 설명을 덧붙여 보았어요.
