딜라이트룸
지난 첫 구독 유도 실험을 통해 이른 시점에 유저에게 구독을 넛지 하면 구독 전환율이 크게 증대한다는 점과 D1 리텐션이 하락한다는 점을 학습했다. (지난 글 : 리텐션을 고려한 첫 구독 유도의 중요성)
‘리텐션이 떨어지지 않았지만 구독 전환율이 높지 않은 대조군’과 ‘구독 전환율은 크게 개선되었지만 리텐션이 떨어진 실험군’ 둘 중에 우리는 일단 대조군의 손을 들어줬다. 간단한 수식 비교가 있었지만 그보다는 좀 더 균형 잡힌 위너를 후속 실험으로 발굴할 수 있다는 자신감이 있었기 때문이었다. 이른 시점에 구독을 넛지 하더라도 리텐션을 보존하면서 구독 전환율을 높이는 실험군을 기획해 보기로 했다.
3차 실험
23년 10월 둘째 주 ~ 셋째 주
앞서 진행했던 1차 2차 실험은 ‘어느 시점’에 구매화면을 띄울까에 대한 실험들이었다. 해당 실험들을 통해 우리만의 가장 강력한 시점은 찾았다. 오히려 그 실험들에서 발견된 문제점은 리텐션이 떨어진다는 점이었고 ‘왜 앱을 이탈할까?’에서 정의했던 문제는 ‘유저들이 구매화면을 어떻게 빠져나가야 할지 모르기 때문에’였다. 하여 3차 실험에서는 ‘어떤 이탈 방식’이 최적일지를 테스트해보기로 했다.
결과는 뜻밖이었다. 오히려 더 빠져나가고 싶게 만들었던 걸까? 실험군에서 구독 전환율이 반토막이 났다. 그리고 신기했던 것은 D1 리텐션이 5~7% 증진되었다는 점이다. 지난 실험에서는 구독 전환율이 2배 오르고 D1 리텐션이 8% 떨어졌는데 이번에는 정 반대의 결과가 나온 것이다.
- [1차-2차] 구매화면 이탈이 어려웠을 때는 구독 전환율이 오르고 D1 리텐션이 떨어졌다.
- [3차] 구매화면 이탈이 쉬워졌더니 구독 전환율이 떨어지고 D1 리텐션이 올랐다.
음.. 그럼… 구매화면 이탈을 쉽지도 어렵지도 않으면? 리텐션도 오르고 구독 전환율도 오를까? 뭔가 몇 번 더 해보면 균형점을 찾을 수 있을 것 같았다.
4차 실험
23년 11월 첫째 주 ~ 둘째 주
이번에는 유저가 적당히 이탈할 수 있는 구매화면을 준비하여 4차 실험을 진행했다. 시간이 흐르는 사이에 다른 실험들로 인해 대조군의 구매화면 형태도 달라졌는데(활짝 웃는 엠마 얼굴이 사라졌다), 이번 4차 실험에서는 그 달라짐 자체도 새로운 변수로서 확인해 보기 위해 1차 실험 때와 이탈 조건이 아예 동일한 조건의 실험군(구매화면만 달라짐) 1을 설정하고 좀 더 이탈을 쉽게 만든 실험군 2를 설정했다. 실험군 2에는 닫기 버튼 노출 로직에 몇 가지 변화를 주었다.
이번 결과는 아름다웠다. 적당히(?) 이탈할 수 있게 만든 실험군 2가 D1 리텐션 하락 없이 구독 전환율 증분을 일궈냈다. 1, 2차 실험 때와 이탈조건이 동일한 실험군 1은 실험군 2보다 더 큰 구독 전환율 증분을 냈지만 D1 리텐션 하락이 있었다.
와 드디어 밸런스 지점을 찾다니…! (사실 이런 ‘밸런스 게임’이 존재하리라 생각지도 못하고 시작했다) 4차에 걸친 실험 끝에 최적의 지점을 찾았다. 묘한 안도감이 들었다.
그러면서 동시에 마지막 욕심이 치솟았다. 실험군 1은 구독 전환율 40~50% 개선인데 리텐션 하락분(5~10%)과의 대결에서 이길 수는 없을까?
처음 구독 전환율과 D1 리텐션의 가치를 비교할 때에는 정량적인 가치로 비교를 했다. D1 리텐션 또한 광고 매출로 이어지기 때문에 매출로 환산을 하여 구독 전환율 증분과 대결을 했던 것이다. 해당 공식은 유저가 매주 얼마나 유입되는지 각 유저 (구독 유저, 무료 유저)의 LTV 가 어떻게 되는지 등에 따라 산출액이 달라지는데 이번 참에 해당 비교를 간편하게 하기 위해 우리 팀의 DA 레오께서 툴을 만들어주셨다. 이를 통해 4차 실험 실험군 1의 구독 전환율 증분과 리텐션 하락분을 계산해 보니 아래와 같았다.
리텐션 하락으로 인한 매출 하락분 보다 구독 전환율 증대로 인한 매출 증분이 더 크게 계산되었다. 그럼에도 우리는 여러 논의 끝에 실험군 1을 선택하지 않고 실험군 2를 선택하게 되었다. 정량적 가치만 따져보면 실험군 1을 택하는 것이 옳았지만 이와 별개의 우리만의 마지막 가드레일이 있었기 때문이다.
마지막 가드레일
유저가 우리 앱을 떠날 때 떠나더라도 어떤 인상을 가진 채 떠나는가 — 이에 따라 그들이 다시 돌아올 가능성도 크게 달라지고 그들의 입을 타고 퍼질 우리 제품에 대한 브랜드 이미지도 크게 달라진다. 다시 말하면 똑같이 D1 리텐션이 5% 하락한 경우라 하더라도 단순한 불편함으로 이탈한 케이스와 언짢음 내지는 불쾌함으로 이탈한 케이스는 그 임팩트가 서로 다르다는 것이다. 이러한 정성적인 부분을 우리는 최종적인 가드레일로 삼기로 했다. 어떠한 불쾌함을 야기하는 기획은 매출이 오르더라도 제품에 반영하지 않는 것이다.
마지막 4차 실험에서 실험군 1과 실험군 2의 차이는 닫기 버튼 노출 로직(특정 조건을 충족해야 닫기 버튼이 노출됨)이었다. 다른 구매화면에서는 이 노출 로직이 구독 전환율과 D1 리텐션을 모두 높였었는데 유독 이 실험에서만 D1 리텐션이 떨어졌다. 우리는 그 이유를 ‘유저가 불쾌함을 느껴서’라고 진단했다. 그래서 위 계산식과 상관없이 실험군 1은 선택하지 않기로 결정한 것이다.
유저가 불쾌함을 느꼈을까? 느꼈다면 이탈 후 우리 제품에 대해 부정적인 소문을 낼 정도로 큰 불쾌함이었을까? 다소 주관적일 수 있는 이 마지막 가드레일은 그렇기 때문에 여러 유관 부서들과 많은 논의를 필요로 했다. 충분한 논의 끝에 위와 같은 결론에 도달했고 전에 없던 우리들만의 기준들을 마련했다는 사실에 뿌듯함도 느꼈다. 물론 그 기준들은 절대적인 것이 아니다. 앞으로 제품 상황에 따라 얼마든지 변할 수 있는 것이다. 중요한 건 이러한 가치 충돌이 있을 때 그래서 우리는 어느 방향으로 어떻게 갈 것인지 함께 의견을 모을 수 있어야 한다는 것이다.
결과적으로 고군분투 끝에 유저와 공급자 모두가 만족할만한 밸런스 지점을 찾았다. 또한 매 실험 차수를 거듭할수록 유저에 대한 인사이트와 이야깃거리가 풍성해져 팀 차원에서의 배움과 성장도 컸다. 앞으로도 우리만의 탄탄한 그로스 철학을 바탕으로 유저가 불쾌함을 느끼지 않는 선에서 건강한 수익화 전략들을 고도화해 나갈 것이다.
마지막으로, 딜라이트룸에서 알라미와 함께 아침을 바꿀 분들을 모십니다 ⏰
>> 여기서 지원하면 입사 축하금이 100만원 👀 <<
Editor 선미’s comment
이 글의 원문은 딜라이트룸(알라미) 테크 블로그에 업로드 된 “구독과 리텐션 밸런스 게임”입니다.
보통 실험이라 하면 전환율, 매출과 같은 긍정 지표를 최적화하는 것으로 생각하는데요. 이 글은 어떤 ‘이탈’ 방식이 최적일 지 실험해보고 적당히(?) 이탈할 수 있는 실험군을 찾기까지의 여정을 기록했다는 점이 특이합니다.
‘마지막 가드레일’ 섹션을 읽고 개인적으로 감동을 받았는데요. 구독 전환율 40~50% 개선으로 겉보기에는 최고의 성과를 내는 실험군과, 구독 전환율은 좀 적지만 유저들에게 불쾌함을 느끼게 하지 않는 실험군 중 어떤 것을 선택할지 의사결정하는 과정에 공감이 많이 갔어요. 가치 충돌이 있을 때 어느 방향으로 가야 할지 의견을 모을 수 있어야 한다는 대목에서 딜라이트룸에 다니지도 않는 제가 왜 뭉클한 걸까요… 써주시는 글을 많이 읽다보니 이미 다니고 있는 것 같은 마음이 있긴 합니다만.. 데이터리안 멤버 혜정님은 이 파트를 읽고 ‘알라미 유저로써 불쾌한 건 그저 아침에 일어날 때 뿐이다’라는 명언을 남겨주셨습니다.
