16배 성장을 이끌고도 패배한 실험
PO가 갖춰야 할 가장 중요한 핵심 역량이 무엇이냐는 질문을 받으면 나는 망설임 없이 ‘문제 정의 역량’이라 답하곤 한다. 제품 내 유저들의 수많은 여정 속에서 임팩트 있는 문제를 발굴하고 정의하는 것. 나는 그것이 제품의 성장을 이끄는 PO 역량의 출발점이라고 생각하기 때문이다. 그리고 그 이유도 간단하게 설명하곤 한다. 임팩트가 있는 문제를 발굴하지 못한다면 아무리 속도감 있게 팀을 이끈다 해도 제품의 성장을 전혀 이끌지 못할 것이기 때문이라고.
늘 그렇게 답하던 나인데도 지난 3분기를 가열차게 달리는 동안 제품의 성장에 전혀 도움이 되지 않는 임팩트 없는 기획을 여러 건 진행해 버렸다. 분명 지난 분기에는 여러 좋은 레슨들을 통해 핵심 지표의 성장을 일궈내긴 했으나 그 이면에는 크리티컬한 실수들도 더러 있었던 것이다. 어떠한 사례들이 있었는지 하나의 예시만을 가볍게 살펴보고 어쩌다 그러한 기획을 하게 되었는지 짚어보려 한다. 아울러 4분기에는 같은 실수를 반복하지 않기 위해 어떠한 액션 아이템들을 가져갈 것인지까지 정리해보려 한다.
16배의 개선폭을 이끌어낸 실험군, 대조군에게 지다.
친구초대 프로모션 참여율이 많이 낮았다. 친구초대의 리워드가 ‘알라미 프리미엄 사용권’이라는 점에서 참여 유인이 약하다고 생각하긴 했지만 다른 리워드 (스타벅스 상품권, 올리브영 상품권 등)를 연계하기에는 기획적으로나 개발적으로 리소스가 부족하다고 판단했다. 하여 알라미 프리미엄에 관심이 있을 유저를 타겟하여 친구초대를 넛지 하는 실험을 진행하기로 했다.
프리미엄 구매화면 내 결제창까지 도달했음에도 이탈한 유저를 ‘프리미엄에 관심이 있지만 결제하기는 싫은’ 유저로 정의하고 친구초대를 넛지 해보았다. 그 결과 친구초대 링크를 발급하고 공유하기까지 이르는 전환율이 약 16배까지 치솟았다. 하지만 그럼에도 대조군을 이기지 못했다.
이유는 전환율 증분과 별개로 절대적인 증분 모수가 너무 작았기 때문이다. 해당 플로우의 개선으로는 월 50건~80건 정도의 ‘초대링크 공유하기’ 증분이 발생하게 되는데, 실제 유저 유입의 기대 값까지 감안하면 매우 미미한 증분이다. 애초에 프리미엄 구매화면 내 결제창까지 도달하는 유저 모수 자체가 크지 않기 때문에 그 모수 내에서의 16배 증분은 전체에 큰 영향을 끼치지 못하는 것이다. 기대 임팩트 계산을 제대로 하지 못한 실험이었던 셈이다.
왜 이런 실수를 하게 된 것일까?
1) 부족한 리소스에 대한 강박 — 팀의 성장
오랜 기간 우리 조직은 개발 리소스 부족에 허덕여 왔다. 배포하기로 한 기획들이 적시에 배포되는 것조차 힘들던 시절이 길었다. 하여 최대한 이미 있는 코드(기획)를 재사용하는 것 간단한 기획으로 큰 임팩트를 노리는 것이 주된 전략이곤 했다. 실제로 그러한 기획들로 쏠쏠한 그로스들을 만들어 오던 터였다. 그러다 보니 어느새 기획이 가볍게 뽑히는 것에 보다 중점을 두게 되었고 또한 안정적으로 이길 수 있는 실험들 위주로 진행을 하게 되었다. Impact, Confidence, Ease 중 Confidence와 Ease 위주의 기획을 해오던 것이었다. 하지만 지금의 팀은 더 이상 그렇지 않다. 예전보다 엔지니어 동료들이 늘었고 그들의 역량 또한 출중하다. 이제는 Impact에 보다 더 큰 가중치를 두어도 괜찮은 상황인 것이다.
2) Low Hanging Fruit의 고갈 — 제품의 성장
바로 위에서 밝혔듯, 부족한 리소스 하에서도 쏠쏠한 그로스를 만들 수 있었던 것은 그만큼 low hanging fruit가 많았기에 가능했던 것이었다. 개발 리소스가 부족했다 보니 Impact, Confidence, Ease가 전부 높은 기획들이 제법 쌓여 있었다. 신규 온보딩 과정에서의 여러 실험들 — 구매화면(Paywall) 내에서의 각종 실험들, 가격과 구독 기간을 활용한 여러 실험들 등등 — 매분기 15개 내외의 실험을 치고 달리면서 단물을 뽑아낼 대로 뽑아내었다. 여러 분기가 지나며 점차 그로스 한계 효용이 낮아지게 되었다. 실험 승률도 높게 유지하는 게 어려워지고 개선폭도 크게 가져가기가 힘들어졌다. 이제는 High Hanging Fruit로 나아가야 할 때가 온 것이다. 다시 말하면 Confidence와 Ease가 높은 기획 내에서는 이제 유의미한 Impact를 쉽게 기대하기 어려운 제품으로 성장한 것이다.
돌아보니 팀도 성장했고 제품도 성장했는데, 나 혼자 과거에 머물고 있었던 것이었다. 껄껄
다시 초심으로
앞에서 ‘제품 내 유저들의 수많은 여정 속에서 임팩트 있는 문제를 발굴하고 정의하는 것. 나는 그것이 제품의 성장을 이끄는 PO 역량의 출발점이라고 생각하기 때문이다.’라는 얘기를 했다. 조금은 Risky하고 개발 난이도가 있는 기획이라 하더라도 현재의 우리 팀과 제품은 이를 소화할 수 있을 정도로 성장했다. 그리고 앞으로의 더 가파른 성장을 위해서는 이제 진짜 Impact에 더 집중을 해야 할 때이다.
아래와 같은 액션 아이템으로 4분기의 도약을 도모해보려 한다.
1) Impact Size 예측하기
각 기획마다 해당 기획을 통해 기대하는 임팩트의 크기를 미리 예측해 본다. 아주 정확하게 예측하는 것을 목표로 한다기보다 러프하게라도 기획들의 임팩트를 신경 써보는 습관을 들이는 것을 그 목표로 한다. 또한 임팩트를 산정하는 과정에서 그 임팩트를 더 키울 수 있는 방향으로 기획이 조정되는 것도 기대해 본다.
2) Why에 더 집착하기
3) 함께 자주 이야기하기
Impact Size에 대한 이야기, Why에 대한 이야기를 다른 동료들과 더 자주, 더 깊게 이야기하는 시간을 마련한다. 이를 통해 테스크의 완수율을 높이는 것보다도 임팩트 있는 문제를 해결하는 것이 더 중요하다는 것을 우리 팀 내 컬처에 자연스레 녹이고 싶다.
제품에 미미한 임팩트를 끼쳤다는 결과적 사실 보다 더 견디기 힘들었다는 것은 나도 모르는 사이에 임팩트에 대한 고민을 많이 못하고 있었다는 점이다. 그간의 수많은 기획들이 결과적으로 쏠쏠한 그로스로 이어졌다지만, 만약 임팩트에 집착을 더 했더라면 더 큰 그로스로 이어지지 않았을까 하는 아쉬움도 뒤따른다. 또한 PO의 불찰로 인해 동료들의 리소스가 더 임팩트 있게 쓰일 기회를 놓쳤다는 사실도 상당히 괴로운 사실이다. 이제 팀과 제품의 성장에 발맞춰 나 또한 함께 성장해야 할 때이다.
이번 4분기를 불태우며 2023년의 마무리를 임팩트 있게 마무리 지어보자.
마지막으로, 딜라이트룸에서 알라미와 함께 아침을 바꿀 분들을 모십니다 ⏰
>> 여기서 지원하면 입사 축하금이 100만원 👀 <<
알라미 팀 채용
Editor 선미’s comment
이 글의 원문은 딜라이트룸(알라미) 테크 블로그에 업로드 된 “16배 성장을 이끌고도 패배한 실험”입니다.
혹시 ICE Score에 대해서 알고 계신가요? 그로스 해킹을 수행할 때 시행 여부, 우선 순위를 결정하는데에 자주 사용되는 의사결정 프레임워크 중 하나인데요. 각각 Impact는 ‘비즈니스에 얼마나 영향을 줄 수 있는가?’, Confidence는 ‘성공에 대해 얼마나 확신이 있는가?’, Ease는 ‘리소스가 얼마나 드는가?’를 의미합니다. 이 글에서 말하는 Low Hanging Fruit, 낮게 달린 열매는 상대적으로 수확하기 쉬운 것을 말하는데요. 성공에 대해 확신도 높고, 리소스도 적게 들며, 비즈니스에 영향은 많이 줄 수 있는, 쉽게 따먹을 수 있는 과실 같은 기획을 말합니다. 초기 서비스의 경우 개발 팀이 필요한 기능을 만들기에도 바쁘기 때문에 와중에도 Growth를 Hacking해내야 하는 조직에서는 기존의 개발 자산을 활용하는 정도로 할 수 있는 일들을 찾아왔고(아주 간단한 예로는 문구 교체) 또 그것으로 성과를 짭짤하게 봤던 것이죠.
하지만 낮게 달린 과실도 결국에는 동이 나고 높게 달린 과실을 따야하는 순간이 찾아옵니다. 이 때에 Impact가 낮고 Confidence, Ease 점수가 높은 테스크를 고를 것이 아니라, Impact가 높은 기획을 찾고 낮은 Ease 점수를 뛰어난 동료들과 함께 넘어야 한다는 말을 하고 있습니다. 저는 ICE Score 보다는 간단한 Impact Effort Matrix를 우선순위 프레임워크로 자주 머리에 그려보곤 하는데요. 저에게 이 프레임워크를 알려주면서 ‘높은 임팩트를 내면서도 하기 쉬운 일을 하라’는 멘토의 이야기에 크게 감명을 받은게 몇 년 전인데, 요새는 그렇게만 하다가는 아주 큰 발전을 맛 볼 수 없겠다는 생각을 하기도 합니다. 이 글의 원 저자의 말처럼 이제는 저 또한 성장을 해야 할 때인 것 같네요.
여러분들은 이 글에서 어떤 점을 가장 인상깊게 읽으셨나요? contact@datarian.io로 블로그 글에 대한 감상을 보내주시면 감사히 읽겠습니다. 혹시 데이터리안에게 추천하고 싶은 테크블로그가 있다면 언제든 알려주세요.


대표 이미지

예상 읽기 시간

공개 가능

제목

요약

전환 텍스트

작성일

conversion_type

시리즈 내 순서

conversion_text

멤버 전용

글쓴이

시리즈

상단 노출

전환 유형

오히려 뎁스를 하나 더 두는 편이 전환율 측면에서 나을 수도 있다.

퍼널은 줄일수록 좋은걸까?

공짜로 주는데 왜 받질 않는거니

유저들은 공짜 선물을 싫어한다

그로스 해킹 방법론에 입각한 알라미의 구독 지표 모니터링

그로스 팀의 지표 미팅 (1) 구독 지표 모니터링

알라미 구독 지표 개선을 이끌어낸 지표 모니터링 사례

그로스 팀의 지표 미팅 (2) 구독 지표 개선을 이끌어낸 모니터링 사례

적절하지 못한 할인 전략은 오히려 전체 매출 하락으로 이어질 수 있다.

할인은 제공하면 무조건 이득이다?

제품 내 유저들의 수많은 여정 속에서 임팩트 있는 문제를 발굴하고 정의하는 것이 PO 역량의 출발점이라고 생각한다.

16배 성장을 이끌고도 패배한 실험

진입률과 진입 이후 전환율, 둘 중 뭘 먼저 챙기는 게 좋을까?

퍼널 최적화 전략

신규 기능들은 초반에 어느 정도의 진입률을 보일까? 제품 코어 기능이 아니고서야 0.1%~0.5% 내에 있을 기능들이 대부분일 것이다.

전환 10배 높여주는 치트키

결과는 대단했다. 대조군 대비 많게는 16배까지도 전환율이 증대하였다.

자연스러웠어…! 제품 내 PPL

구매화면 노출 시점을 당겼을 때 온보딩 구매화면 방문율은 15% 늘어나는 데에 그쳤지만 방문 대비 전환율은 80% 가까이 증대했다

첫 구독 유도의 중요성

신규 유저 리텐션 1% 증분과 구독 전환율 1% 증분의 가치를 서로 비교해 보았다

리텐션을 고려한 첫 구독 유도의 중요성

‘어떤 이탈 방식’이 최적일지 테스트를 해보기로 했다

구독과 리텐션의 밸런스 게임

16배의 개선폭을 이끌어낸 실험군, 대조군에게 지다.

왜 이런 실수를 하게 된 것일까?

16배 성장을 이끌고도 패배한 실험

Contents

데이터 분석 소식을
매월 받아보세요

⏰ 딜라이트룸(알라미) 데이터 분석 사례 모아보기

함께 읽어보면 좋은 글

사용자 행동 데이터를 분석할 때 주의할 점 4가지

A/B 테스트에서 p-value에 휘둘리지 않기

사용자 행동 로그 데이터 분석 해야하는 이유

데이터 분석 소식을
매월 받아보세요데이터 분석 소식을 받아보세요

16배 성장을 이끌고도 패배한 실험

Contents

데이터 분석 소식을 매월 받아보세요

⏰ 딜라이트룸(알라미) 데이터 분석 사례 모아보기

함께 읽어보면 좋은 글

사용자 행동 데이터를 분석할 때 주의할 점 4가지

A/B 테스트에서 p-value에 휘둘리지 않기

사용자 행동 로그 데이터 분석 해야하는 이유

데이터 분석 소식을 매월 받아보세요데이터 분석 소식을 받아보세요

데이터 분석 소식을
매월 받아보세요

데이터 분석 소식을
매월 받아보세요데이터 분석 소식을 받아보세요