지난 글, <a href="https://datarian.io/blog/the-importance-of-driving-first-time-subscriptions" target="_blank">첫 구독 유도의 중요성</a>의 말미에, 온보딩 구매화면의 노출 시점을 더 앞당겨보는 실험을 진행 중이라 이야기 한 바 있다.<blockquote>위와 같은 레슨에 이어, 아래와 같은 후속 실험이 현재 진행 중이다.온보딩 구매화면을 아예 띄우지 않던 때보다는 훨씬 큰 그로스를 만들어 냈지만, 띄우고 있는 시점을 달리 하면 더 큰 전환율을 만들어낼 수도 있다는 것을 알게 되었기에, 우리 제품에 맞는 최적의 시점을 찾는 실험을 이어 진행하고 있다.</blockquote><figure data-type="image-block" data-src="https://attachments.datarian.io/production-15802579-e448-4345-92d1-8ff43796ce4a-4kHEY92nteHcZ4qv6EyyhDCN59uwxAoaDBcUy7gk4N8.png" data-align="center" data-width="700" style="width: 700px; max-width: 100%"><img src="https://attachments.datarian.io/production-15802579-e448-4345-92d1-8ff43796ce4a-4kHEY92nteHcZ4qv6EyyhDCN59uwxAoaDBcUy7gk4N8.png" width="700" /></figure>온보딩 진행 간에 퍼널 이탈률이 높지 않다는 점을 감안하면, 더 이르게 노출시키는 것이 노출량 자체를 늘리는 데에는 크게 기여하지 못할 것이다. 오히려 지난 글에서 이야기한 바와 같이 더 이르게 노출시킬수록 노출량 증대보다는 구독으로의 전환율이 높아질 것이라는 강한 확신을 가지고 진행하는 실험이었다.문제는 ‘어느 시점에 노출하는 것이 신규 유저 리텐션을 낮추지 않으면서 더 큰 구독 전환율을 발생시킬 것인가’였다. 무료 기능이 없는 완전한 프리미엄 서비스인 경우 딱히 리텐션을 염려하지 않아도 괜찮겠지만 일정 부분 무료로 기능을 제공하면서 광고 매출을 크게 발생시키고 있는 우리 알라미의 경우 리텐션이 가장 중요한 지표 중 하나이다. 매일매일 새로 유입되는 신규 유저 볼륨이 굉장히 크다 보니 D1 리텐션 소폭 증분에 따른 누적 DAU 증분 크기도 상당하다. 이에 더해 ‘신규 유저 리텐션 올리는 것’과 ‘구독 전환율 올리는 것’의 난이도를 따져보면 전자가 훨씬 어렵다는 것이 자명하기에 리텐션 하락폭과 구독 전환율 증분폭 대결에서 어지간하면 전자가 이길 수밖에 없다. 고로 리텐션 하락이 없는 실험군 발굴이 중요했다.<h1 id="145efab0d0304887b06fa0e1a6b04654">1. 핵심지표: 구독 전환율</h1>역시나 구독 전환율은 구매화면이 더 이르게 노출된 실험군들의 압승이었다. OS 및 국가에 따라 그 상승폭은 조금씩 달랐으나 ‘더 이르게 노출시키는 실험군’이 가장 높은 전환율을 보였다는 점에서 모두 같았다. 상세 지표는 아래와 같다.<figure data-type="image-block" data-src="https://attachments.datarian.io/production-3947845c-80a0-464c-a5e6-81c66001b7e0-MibGLHbvyI_62L73FdU2d3a6uqsX6DlGL-1DCl8tWos.png" data-align="center" data-width="700" data-show-caption="true" style="width: 700px; max-width: 100%"><img src="https://attachments.datarian.io/production-3947845c-80a0-464c-a5e6-81c66001b7e0-MibGLHbvyI_62L73FdU2d3a6uqsX6DlGL-1DCl8tWos.png" width="700" /><figcaption>60% ~ 80% 의 구독 전환율 증분 발생 Android는 권한 앞 실험군을 제외하고 진행하였다</figcaption></figure>여기서 또 하나 재밌는 점은 ‘권한 앞’ 실험군과 대조군의 플로우상 차이점이 ‘권한 요청 다이얼로그를 구매화면 보다 먼저 보느냐 나중에 보느냐’의 차이뿐이라는 점이다.<figure data-type="image-block" data-src="https://attachments.datarian.io/production-5efe76e9-60b2-4dee-957d-d8b83b911106-VlscEOFCP-J7JvpGg6XGi3q0enfTIXH_LEPOID-8IEA.png" data-align="center" data-width="700" data-show-caption="true" style="width: 700px; max-width: 100%"><img src="https://attachments.datarian.io/production-5efe76e9-60b2-4dee-957d-d8b83b911106-VlscEOFCP-J7JvpGg6XGi3q0enfTIXH_LEPOID-8IEA.png" width="700" /><figcaption>대조군과 권한 앞 실험군과의 차이는 단 2장의 권한 요청 다이얼로그뿐이었다</figcaption></figure>그저 구매화면을 다이얼로그를 보여주기 전에 띄웠다는 이유로 전환율이 1.3배가 되다니… 생각보다 ‘이르게 노출’ 시키는 것만으로 크게 전환율이 늘어 놀랐다. 그럼 이들의 D1 리텐션은 무탈했을까?<h1 id="a459fee3af6c411bbebdfc2e2c8027e9">2. 부정 지표: D1 리텐션</h1>애석하게도 D1 리텐션이 하락하고 말았다.<figure data-type="image-block" data-src="https://attachments.datarian.io/production-53fe82e0-56cd-4285-be6c-8acc9e755285-ueT1oPwRSbTwu5bVdO1Y2qmZqsptooAR3pxKhkp9LP8.png" data-align="center" data-width="700" data-show-caption="true" style="width: 700px; max-width: 100%"><img src="https://attachments.datarian.io/production-53fe82e0-56cd-4285-be6c-8acc9e755285-ueT1oPwRSbTwu5bVdO1Y2qmZqsptooAR3pxKhkp9LP8.png" width="700" /><figcaption>2.2% ~ 8% 의 리텐션 하락 발생</figcaption></figure>여기서도 몇 가지 특이사항이 있었다. 이르게 노출시킬수록 구독 전환율이 높았던 것과 달리 리텐션이 가장 낮은 실험군은 ‘권한 앞’ 실험군이었다. 즉 해당 실험군이 전환율은 2등이면서 리텐션은 꼴찌였고 가장 이르게 노출시킨 실험군(‘가치소구 직후’)이 전환율은 1등이면서 리텐션은 꼴찌가 아니었다.대조군과 권한 앞 실험군은 ‘권한 요청 다이얼로그를 구매화면 보다 먼저 보느냐 나중에 보느냐’의 차이뿐인데 리텐션 차이가 발생했다. 대조군 실험군 간 D1 리텐션 차이는 발생했으나 D7으로 갈수록 서로 수렴하는 경향을 보인다. 이 마지막 특징에서 나의 번뇌가 시작되었다.<ul><li>D7으로 갈수록 서로 리텐션 차이가 거의 없어진다면,구독 전환율이 높은 실험군을 위너로 선정해도 괜찮지 않을까?</li><li>D1 리텐션의 가치가 크다는 것은 알겠는데 -2.2% 리텐션 하락과 50%의 구독 전환율 증진을 비교하면무엇이 더 제품 전체적으로 가치 있는 걸까?</li></ul><h1 id="1fe035d10628478c8adf496c3739a557">3. 위너 선정: 리텐션 하락 vs 구독 전환율 증분</h1>번뇌를 가라앉히기 위해 신규 유저 리텐션 1% 증분과 구독 전환율 1% 증분의 가치를 서로 비교해 보았다.매일 유입되는 신규 유저의 볼륨이 A명일 때, 리텐션 B%의 증분은 DAU C명 증대로 이어졌고 광고 수익 LTV를 곱했을 때 D원의 추가 매출액이 산출되었다. 마찬가지로 동일한 신규 유저 볼륨 A명일 때 구독 전환율 E%의 증분은 구독자 F명 증대로 이어졌고 구독 LTV를 곱했을 때 G원의 추가 매출이 산출되었다.<figure data-type="image-block" data-src="https://attachments.datarian.io/production-d13359da-cfe3-4759-a99e-1b26d1f03b36-4ihCqr55IXVDDTKLf7rfaLeQqHmYSS41-EHQ7q8NnUE.png" data-align="center" data-width="700" data-show-caption="true" style="width: 700px; max-width: 100%"><img src="https://attachments.datarian.io/production-d13359da-cfe3-4759-a99e-1b26d1f03b36-4ihCqr55IXVDDTKLf7rfaLeQqHmYSS41-EHQ7q8NnUE.png" width="700" /><figcaption>딜라이트룸 DA 그룹 리비오께서 계산해 주신 리텐션 증분의 DAU 증분 계수</figcaption></figure>여기에 마지막으로 리텐션을 올리는 것과 구독 전환율을 올리는 것의 난이도(실험의 타율) 차이를 감안하여 등식을 완성해 보았다. 그리고 최종적으로 수치적으로 반영하기 힘든 유저의 불쾌함 레벨도 고려했다.그렇게 내린 결론은 대조군 승리….!<h1 id="8e98d62e8a48448aa614d54e661b4daa">4. 후속 가설: 실험군별 유저들은 퍼널을 끝까지 갔을까? </h1>퍽 아쉽지만 한 가지는 명확했다. 일단 노출 시점을 앞당기면 전환율은 오른다. 다른 한 가지가 명확하지 않았다. 리텐션은 왜 낮아진 걸까? 하여 실험군별 온보딩 플로우 퍼널을 추가로 살펴보았다.<figure data-type="image-block" data-src="https://attachments.datarian.io/production-5187563c-eeaf-4487-a1b3-4b8c222777f2-n6G4B8xKQTWKTleq065n7UkTuaQDQloE1QyjLtfvPlk.png" data-align="center" data-width="700" style="width: 700px; max-width: 100%"><img src="https://attachments.datarian.io/production-5187563c-eeaf-4487-a1b3-4b8c222777f2-n6G4B8xKQTWKTleq065n7UkTuaQDQloE1QyjLtfvPlk.png" width="700" /></figure>그리고 결론은 아래와 같았다. ‘온보딩 과정에서 구매화면이 노출되면 그 순간 바로 앱을 이탈한다.’홈화면에 도달하기도 전에 앱을 나가버리는 것이다. 왜 그러는 걸까? 이 부분이 해결되어야 리텐션을 보전하면서 구독 전환율을 높일 수 있다. 직관적으로 내린 가설은 ‘온보딩 이른 시점에 구매화면이 노출되면 알라미가 완전히 프리미엄 앱인 것으로 오해하고 앱을 바로 이탈한다.’이다. 그리하여 온보딩 구매화면에 대해서만 위와 같은 오해를 방지하기 위한 시안을 마련해보고 있다.<figure data-type="image-block" data-src="https://attachments.datarian.io/production-3a24faf9-4835-4940-adc0-e5d2a5045dc0-L90VZ2gGLHNcpBT25-uCFXFC8RR1M6wEDm7Y1napXnQ.png" data-align="center" data-width="700" data-show-caption="true" style="width: 700px; max-width: 100%"><img src="https://attachments.datarian.io/production-3a24faf9-4835-4940-adc0-e5d2a5045dc0-L90VZ2gGLHNcpBT25-uCFXFC8RR1M6wEDm7Y1napXnQ.png" width="700" /><figcaption>꼭 결제를 안 해도 된다는 메시지를 표현해 주는 구매화면 시안들</figcaption></figure>어쩌면 구매화면 이탈을 돕는 방향의 기획이 더해진 셈이기에 구독 전환율 상승폭은 소폭 떨어지겠지만 리텐션 보전이 더 중요한 과업이기에 다소 아이러니한 접근을 해본 것이다. 과연 이 실험군들은 멋지게 살아남을 수 있을 것인지…!마지막으로, 딜라이트룸에서 알라미와 함께 아침을 바꿀 분들을 모십니다 ⏰&gt;&gt; 여기서 지원하면 입사 축하금이 100만원 👀 &lt;&lt;<div data-type="bookmark" data-url="https://team.alar.my/recruit/?utm_campaign=branding&utm_source=datarian&utm_content=banner" data-title="알라미 팀 채용" data-description="Wake people up, fully and completely." data-icon="https://oopy.lazyrockets.com/api/rest/cdn/image/f243d1df-01b1-416c-ae0c-8f05e5e803da.png?d=16" data-cover="https://oopy.lazyrockets.com/api/rest/cdn/image/ae8f8e0d-c02c-4f11-8cff-c448bab9a193.png"></div><div data-type="callout" data-emoji="✍🏻" data-background-color="rgba(235, 236, 237, 0.3)" style="background-color: rgba(235, 236, 237, 0.3);">Editor 선미’s comment이 글의 원문은 딜라이트룸(알라미) 테크 블로그에 업로드 된 “<a href="https://medium.com/delightroom/%EB%A6%AC%ED%85%90%EC%85%98%EC%9D%84-%EA%B3%A0%EB%A0%A4%ED%95%9C-%EC%B2%AB-%EA%B5%AC%EB%8F%85-%EC%9C%A0%EB%8F%84%EC%9D%98-%EC%A4%91%EC%9A%94%EC%84%B1-aaba41512640" target="_blank">리텐션을 고려한 첫 구독 유도의 중요성</a>”입니다.이 글의 백미는 리텐션 하락과 구독 전환율 증분 두 가지의 가치를 매출을 기준으로 비교해본 것이라고 생각합니다. 신규 유저 리텐션 1% 증분과 구독 전환율 1% 증분의 가치를 고객의 LTV를 이용해 매출로 추산한거죠. 이런 계산 방식을 <a href="https://ko.wikipedia.org/wiki/%ED%8E%98%EB%A5%B4%EB%AF%B8_%EB%AC%B8%EC%A0%9C" target="_blank">페르미 추정</a>이라고도 합니다. 아주 러프한 계산법이지만 빠르고 효율적이게 의사결정을 하는데 도움을 줍니다. 글에서 만나니 반가워서 설명을 덧붙여 보았어요.</div>

오히려 뎁스를 하나 더 두는 편이 전환율 측면에서 나을 수도 있다.

퍼널은 줄일수록 좋은걸까?

공짜로 주는데 왜 받질 않는거니

유저들은 공짜 선물을 싫어한다

그로스 해킹 방법론에 입각한 알라미의 구독 지표 모니터링

그로스 팀의 지표 미팅 (1) 구독 지표 모니터링

알라미 구독 지표 개선을 이끌어낸 지표 모니터링 사례

그로스 팀의 지표 미팅 (2) 구독 지표 개선을 이끌어낸 모니터링 사례

적절하지 못한 할인 전략은 오히려 전체 매출 하락으로 이어질 수 있다.

할인은 제공하면 무조건 이득이다?

제품 내 유저들의 수많은 여정 속에서 임팩트 있는 문제를 발굴하고 정의하는 것이 PO 역량의 출발점이라고 생각한다.

16배 성장을 이끌고도 패배한 실험

진입률과 진입 이후 전환율, 둘 중 뭘 먼저 챙기는 게 좋을까?

퍼널 최적화 전략

신규 기능들은 초반에 어느 정도의 진입률을 보일까? 제품 코어 기능이 아니고서야 0.1%~0.5% 내에 있을 기능들이 대부분일 것이다.

전환 10배 높여주는 치트키

결과는 대단했다. 대조군 대비 많게는 16배까지도 전환율이 증대하였다.

자연스러웠어…! 제품 내 PPL

구매화면 노출 시점을 당겼을 때 온보딩 구매화면 방문율은 15% 늘어나는 데에 그쳤지만 방문 대비 전환율은 80% 가까이 증대했다

첫 구독 유도의 중요성

신규 유저 리텐션 1% 증분과 구독 전환율 1% 증분의 가치를 서로 비교해 보았다

리텐션을 고려한 첫 구독 유도의 중요성

GA4, 필요할 때마다 검색해서 써왔다면?

Contents

데이터 분석 소식을
매월 받아보세요

⏰ 딜라이트룸(알라미) 데이터 분석 사례 모아보기

함께 읽어보면 좋은 글

넷플릭스, 유튜브, 인프런과 뉴닉의 공통점

기업 블로그, 데이터 분석으로 MAU 800% 성장시키기

우리도 선물하기 한다! (1) 쿠팡

데이터 분석 소식을
매월 받아보세요데이터 분석 소식을 받아보세요