이전 글에서 ‘지표 미팅을 이어가기 위한 가장 강력한 모티베이션은 지표 미팅에서 얻은 시드로 실제 지표의 개선을 끌어내는 경험을 해보는 것일 것이다.’라는 이야기를 해보았다.이번 편에서는 딜라이트룸의 섭스쿼드가 지표 미팅을 통해 발굴한 시드로 실제 지표의 개선을 크게 이끌어 냈던 사례를 하나 살펴보도록 하자. 때마침 해당 사례는 메신저 상에서의 커뮤니케이션이 병행되었던터라 당시 대화 자체를 스크린샷으로 직접 첨부해볼 수 있겠다.<h1 id="c9ecc9a8a26e41c8a321041ee7c4b315">[1/4] 현상 발견과 현상의 명료화</h1>여느 때와 같이 지표 미팅을 준비하는 과정에서 무료체험 전환율(Trial CVR)의 유의미한 하락을 발견하게 되었다. 4분기 동안 누적된 실험군의 승리로 지표가 지속 우상향 하던 추이였기에 당시의 하락은 매우 당혹스러웠다. 내가 모르는 제품내의 특정 변화가 핵심 지표에 영향을 끼치고 있는 것이 분명해 보였다.<figure data-src="https://attachments.datarian.io/production-16747b51-b907-4a9e-a55c-69f8651653a2-b-XUHC5lY8TwPron47TT62IRv777iyQH7NYT-YybSxc.png" data-align="center" data-caption="12월 둘째 주부터 지속적인 하락이 목격되었다" data-show-caption="true" data-width="576" data-type="image-block" class="is-align-center" style="width: 576px; max-width: 100%;"><img src="https://attachments.datarian.io/production-16747b51-b907-4a9e-a55c-69f8651653a2-b-XUHC5lY8TwPron47TT62IRv777iyQH7NYT-YybSxc.png" alt="" style="width: 100%; height: auto;"><figcaption>12월 둘째 주부터 지속적인 하락이 목격되었다</figcaption></figure>핵심 지표인 무료체험 전환율을 엔트리 포인트별로 쪼개서 보니 특정 엔트리 포인트에서의 전환율 하락으로 현상이 뾰족해졌고, 추가로 해당 엔트리에서의 앞뒤 화면 퍼널로 나누어 보니 해당 화면으로의 진입률이 급락한 것이 확인되었다. 이어서 그 시점에 배포되었던 작업 내역들을 섭스쿼드의 안드로이드 개발자께서 직접 확인 및 공유해주셨다.<figure data-src="https://attachments.datarian.io/production-d566e3cc-c73b-4ef5-9851-ed032b2da715-iiUeW6yOilxwO8Dd87v6lQCjY3-gRvFuUKyzkwGobBQ.png" data-align="center" data-caption="곧 시드가 보일 것만 같았던 순간" data-show-caption="true" data-width="576" data-type="image-block" class="is-align-center" style="width: 576px; max-width: 100%;"><img src="https://attachments.datarian.io/production-d566e3cc-c73b-4ef5-9851-ed032b2da715-iiUeW6yOilxwO8Dd87v6lQCjY3-gRvFuUKyzkwGobBQ.png" alt="" style="width: 100%; height: auto;"><figcaption>곧 시드가 보일 것만 같았던 순간</figcaption></figure><h1 id="8a6fe458d95147feafe439b0a63b6c60">[2/4] 시드 발굴과 팀간 방향성 싱크</h1>우리 스쿼드의 작업 배포가 없었던 시점이었기 때문에 제품 팀 전체의 집단 지성을 동원해야만 했고 디자인 그룹의 특정 작업이 변인이었을 수 있겠다는 시드를 찾게 되었다. 물론 명확하게 A/B Test를 진행한 것이 아니라 해당 작업이 지표 하락의 원인이라고 100% 확신할 수 없었다. 또한 어찌되었든 해당 작업은 디자인 그룹의 Goal을 달성하기 위해 진행된 작업이었기 때문에 구독 스쿼드의 Goal을 위해 무작정 롤백을 하자는 것도 옳지 않은 솔루션이라 생각되었다.<figure data-src="https://attachments.datarian.io/production-d46d0db6-7cba-4a44-a7e1-63213b93be76-F_YKM43fcbJ9EUoqXMXHL_k8Hu6Tt4YWuf8aznRR08M.png" data-align="center" data-caption="조심스럽게 접근했던 현상에 대한 가설 수립" data-show-caption="true" data-width="672" data-type="image-block" class="is-align-center" style="width: 672px; max-width: 100%;"><img src="https://attachments.datarian.io/production-d46d0db6-7cba-4a44-a7e1-63213b93be76-F_YKM43fcbJ9EUoqXMXHL_k8Hu6Tt4YWuf8aznRR08M.png" alt="" style="width: 100%; height: auto;"><figcaption>조심스럽게 접근했던 현상에 대한 가설 수립</figcaption></figure>하여 먼저 발굴된 시드를 기반으로 섭스쿼드 입장에서의 가설을 세웠고 디자인 그룹의 Goal까지 모두 충족시킬 수 있도록 해당 가설을 디자인 그룹과 함께 조정해보았다. 이번 가설은 컨피던스가 꽤나 높았던 터라 해당 수정안을 굳이 A/B Test의 형태로 진행하진 않았고 그대로 모든 유저에게 배포하여 지표의 개선이 나타나는지 전후 비교만 하기로 하였다.<h1 id="cfbb9bc8d59d43d88987b3a7d0d3b823">[3/4] 배포 후 지표 모니터링</h1>본 작업은 연초에 다른 굵직하고 헤비한 작업들로 인해 다소 일정이 밀렸고, 3월 초가 되어서야 비로소 배포되었다. 보통 일반적인 A/B Test 진행시에도 실험 결과를 빨리 확인하고 싶어 안달이 나지만, 이번 배포는 정말 더 기다려졌다. 과연 지표 미팅이 이번에도 임팩트 있는 시드를 찾아낸 것일까? 스스로도 궁금해지는 지점이었기 때문이다.역시나 보조 지표인 화면 진입률은 본 작업 이후로 명확하게 개선되었다.<figure data-src="https://attachments.datarian.io/production-37f6b13d-596f-4bc6-95a3-8f56ebc0fe90-icTUVTZgADUo1H8sATPFE3InwHnicaPKXg5fUlDEcYY.png" data-align="center" data-caption="이보다 명확할 수는 없게끔 나와서 다행이다. (전후 테스트의 긴장감)" data-show-caption="true" data-width="700" data-type="image-block" class="is-align-center" style="width: 700px; max-width: 100%;"><img src="https://attachments.datarian.io/production-37f6b13d-596f-4bc6-95a3-8f56ebc0fe90-icTUVTZgADUo1H8sATPFE3InwHnicaPKXg5fUlDEcYY.png" alt="" style="width: 100%; height: auto;"><figcaption>이보다 명확할 수는 없게끔 나와서 다행이다. (전후 테스트의 긴장감)</figcaption></figure>그렇다면 해당 화면에서 발생하는 무료체험 전환율은 어떠할까.<figure data-src="https://attachments.datarian.io/production-6a45237b-ea02-428a-8b75-387c53f6a4d7-VY0cqXQ6cYXsLdK79ak3JotiMD_hcwJt-hc2C1Nney8.png" data-align="center" data-caption="올랐다 !! (가운데 OO효과의 원인은 밝힐 수 없다)" data-show-caption="true" data-width="700" data-type="image-block" class="is-align-center" style="width: 700px; max-width: 100%;"><img src="https://attachments.datarian.io/production-6a45237b-ea02-428a-8b75-387c53f6a4d7-VY0cqXQ6cYXsLdK79ak3JotiMD_hcwJt-hc2C1Nney8.png" alt="" style="width: 100%; height: auto;"><figcaption>올랐다 !! (가운데 OO효과의 원인은 밝힐 수 없다)</figcaption></figure>기상체크 엔트리 포인트에서 뾰족하게 하락했던 무료체험 전환율이,&nbsp;배포 이후 온전히 회복되었다! 알람파워업에서의 지표도 위와 거의 똑같이 확인되었고 덕분에 본 가설이 팩트였음이 확고해졌다.<h1 id="2aebc19a501d453ea53bec75ceaed31b">[4/4] 회고</h1>핵심 지표가 개선되었다는 것만으로도 매우 기쁜 일이었다. 하지만 이후 더 임팩트 있는 가설을 뽑을 수 있는 시드가 발굴되었다는 것이 더 기뻤다. (어떤 시드였는지 밝힐 수는 없지만) 바로 다른 엔트리 포인트들에도 적용해볼 수 있는 가설이었고 덕분에 엔트리 여러 지면들에서의 핵심 지표 개선을 꾀할 수 있게 되었다.<figure data-src="https://attachments.datarian.io/production-b36fe463-b1fa-4cc7-90c5-dd307a459f52-loPKgIgliMV8BhDRz7NqbTLlVPcMgXfPk1ENwmQHT6Q.png" data-align="center" data-caption="다행히 바로 잡은 안드로이드 무료체험 전환율 지표의 추세" data-show-caption="true" data-width="700" data-type="image-block" class="is-align-center" style="width: 700px; max-width: 100%;"><img src="https://attachments.datarian.io/production-b36fe463-b1fa-4cc7-90c5-dd307a459f52-loPKgIgliMV8BhDRz7NqbTLlVPcMgXfPk1ENwmQHT6Q.png" alt="" style="width: 100%; height: auto;"><figcaption>다행히 바로 잡은 안드로이드 무료체험 전환율 지표의 추세</figcaption></figure>섭스쿼드는 연말의 갑작스런 무료 체험 전환율 하락에 속수무책으로 당하고만 있지 않았다. 지표 모니터링 덕분에 이를 적시에 목격할 수 있었고 적은 인풋으로 원인을 빠르게 찾을 수 있었다. 또한 다시금 지표를 회복시킬 수 있었을 뿐만 아니라 추가로 임팩트를 낼 수 있는 가설까지 확보할 수 있게 되었다.최근 4월 초에는 스쿼트 미션과 걷기 미션에서의 무료체험 전환율이 눈에 띄게 올랐다는 것을 지표 모니터링 중에 알 수 있었다. 마찬가지로 퍼널을 앞뒤로 나눠보니, 미션 세팅하는 화면으로의 진입률은 변함이 없는데 진입 이후에 전환율이 지속적으로 높아졌다는 것이 확인되었다. 특이한 건 다른 국가에서는 이 또한 변함이 없는데 유독 미국에서만 올랐다는 점이다.<figure data-src="https://attachments.datarian.io/production-0ffbecb7-35d9-4497-94e1-6c3c3e5d5cd1-JDiq2PVOBiSxETCqPE89_fqUVQNU_ZwWHT-EjFQsA9o.png" data-align="center" data-caption="최근의 주요 현상 중 하나" data-show-caption="true" data-width="720" data-type="image-block" class="is-align-center" style="width: 720px; max-width: 100%;"><img src="https://attachments.datarian.io/production-0ffbecb7-35d9-4497-94e1-6c3c3e5d5cd1-JDiq2PVOBiSxETCqPE89_fqUVQNU_ZwWHT-EjFQsA9o.png" alt="" style="width: 100%; height: auto;"><figcaption>최근의 주요 현상 중 하나</figcaption></figure>과연 이 현상 목격을 통해 섭스쿼드가 얻게 될 달콤한 가설은 무엇일까. (두근) 모쪼록 매주 지표 미팅을 준비할 때의 이 두근거림을 다른 그로스 조직(팀)에서도 함께 느꼈으면 하는 마음이다.마지막으로, 딜라이트룸에서 알라미와 함께 아침을 바꿀 분들을 모십니다 ⏰<div data-url="https://delightroom.com/recruit/?utm_campaign=branding&amp;utm_source=datarian&amp;utm_content=banner" data-title="딜라이트룸 채용 – 투자 없이 글로벌 1위를 만든 팀과 함께하세요" data-description="전 세계 1억 명의 아침을 바꾸는 글로벌 1위 서비스. 딜라이트룸에서 알라미(Alarmy), 다로(DARO), 딜라이트허브(DelightHub)를 함께 만들어나갈 동료를 찾습니다." data-icon="https://framerusercontent.com/images/VwrdTDqyMhGkmO2hUOd3nO2PEgQ.png" data-cover="https://framerusercontent.com/assets/uH8tbafvpLqP4iQfRj7km9QqRww.png" data-type="bookmark"></div><div data-emoji="✍🏻" data-background-color="rgba(235, 236, 237, 0.3)" data-type="callout" style="background-color: rgba(235, 236, 237, 0.3);">Editor 선미’s comment이 글의 원문은 딜라이트룸(알라미) 테크 블로그에 업로드 된 “<a target="_blank" rel="noopener noreferrer nofollow" href="https://medium.com/delightroom/%EA%B7%B8%EB%A1%9C%EC%8A%A4-%ED%8C%80%EC%9D%98-%EC%A7%80%ED%91%9C-%EB%AF%B8%ED%8C%85-2-4c661728c921">그로스 팀의 지표 미팅 (2)</a>”입니다.중요 지표 하락의 발견부터 원인을 찾고 개선을 하기까지 ‘데이터 분석이 왜 필요한가’에 대해 정석적인 답을 제공해주는 글이라고 생각됩니다. 개인적으로 무언가를 꾸준히 해야할 때 그것을 루틴으로 만들어놓는 것을 중요하다고 생각하는데요. ‘왜 이걸 안했어’라고 매번 얘기하는 것 보다는 그걸 할 수 밖에 없는 환경을 만드는게 뭔가를 지속하는데 더 도움이 되더라구요. 저는 이 팀의 지표 미팅도 이런 맥락에서 아주 좋은 전략이었다고 생각합니다.딜라이트룸처럼 데이터를 보는 루틴을 만들고 싶은 팀이라면 <a target="_blank" rel="noopener noreferrer nofollow" href="https://datarian.io/blog/monitor-subscription-metrics-based-on-growth-hacking-methodology">이전 글</a>도 참고해주세요.</div>

오히려 뎁스를 하나 더 두는 편이 전환율 측면에서 나을 수도 있다.

퍼널은 줄일수록 좋은걸까?

공짜로 주는데 왜 받질 않는거니

유저들은 공짜 선물을 싫어한다

그로스 해킹 방법론에 입각한 알라미의 구독 지표 모니터링

그로스 팀의 지표 미팅 (1) 구독 지표 모니터링

알라미 구독 지표 개선을 이끌어낸 지표 모니터링 사례

그로스 팀의 지표 미팅 (2) 구독 지표 개선을 이끌어낸 모니터링 사례

적절하지 못한 할인 전략은 오히려 전체 매출 하락으로 이어질 수 있다.

할인은 제공하면 무조건 이득이다?

제품 내 유저들의 수많은 여정 속에서 임팩트 있는 문제를 발굴하고 정의하는 것이 PO 역량의 출발점이라고 생각한다.

16배 성장을 이끌고도 패배한 실험

진입률과 진입 이후 전환율, 둘 중 뭘 먼저 챙기는 게 좋을까?

퍼널 최적화 전략

신규 기능들은 초반에 어느 정도의 진입률을 보일까? 제품 코어 기능이 아니고서야 0.1%~0.5% 내에 있을 기능들이 대부분일 것이다.

전환 10배 높여주는 치트키

결과는 대단했다. 대조군 대비 많게는 16배까지도 전환율이 증대하였다.

자연스러웠어…! 제품 내 PPL

구매화면 노출 시점을 당겼을 때 온보딩 구매화면 방문율은 15% 늘어나는 데에 그쳤지만 방문 대비 전환율은 80% 가까이 증대했다

첫 구독 유도의 중요성

신규 유저 리텐션 1% 증분과 구독 전환율 1% 증분의 가치를 서로 비교해 보았다

리텐션을 고려한 첫 구독 유도의 중요성

‘어떤 이탈 방식’이 최적일지 테스트를 해보기로 했다

구독과 리텐션의 밸런스 게임

'여기에 광고 지면 하나 넣어볼까요?' '유저에게 안좋은 경험일 것 같은데요. 다시 생각해봅시다.' 줄다리기 중이신가요?

리텐션이 광고 수익화에서 중요한 이유 (feat. 광고 LTV)

DAU는 늘고 있는데, 왜 광고 수익은 비례해서 늘지 않을까?

DAU를 늘린다고 무조건 광고 수익이 늘지 않는 이유

'Carrying Capacity', 여러분의 서비스에 적합한 개념이었나요? 신규 기능의 DAU를 예측하는 대체 공식을 소개합니다.

새로 출시한 이 기능은 DAU 얼마짜리 기능일까?

[1/4] 현상 발견과 현상의 명료화

[2/4] 시드 발굴과 팀간 방향성 싱크

그로스 팀의 지표 미팅 (2) 구독 지표 개선을 이끌어낸 모니터링 사례

Contents

데이터 분석 소식을
매월 받아보세요

⏰ 딜라이트룸(알라미) 데이터 분석 사례 모아보기

함께 읽어보면 좋은 글

Metric Review, 실행을 이끌다

토스플레이스 데이터봇 ‘판다(PANDA)’를 소개합니다 : 모든 팀원이 데이터 전문가처럼 일하는 방법

매출 분석 (1) 업셀링(Upselling), 크로스셀링(Cross-selling) 알아보기

데이터 분석 소식을
매월 받아보세요데이터 분석 소식을 받아보세요

그로스 팀의 지표 미팅 (2) 구독 지표 개선을 이끌어낸 모니터링 사례

Contents

데이터 분석 소식을 매월 받아보세요

⏰ 딜라이트룸(알라미) 데이터 분석 사례 모아보기

함께 읽어보면 좋은 글

Metric Review, 실행을 이끌다

토스플레이스 데이터봇 ‘판다(PANDA)’를 소개합니다 : 모든 팀원이 데이터 전문가처럼 일하는 방법

매출 분석 (1) 업셀링(Upselling), 크로스셀링(Cross-selling) 알아보기

데이터 분석 소식을 매월 받아보세요데이터 분석 소식을 받아보세요

데이터 분석 소식을
매월 받아보세요

데이터 분석 소식을
매월 받아보세요데이터 분석 소식을 받아보세요