딜라이트룸
이전 글에서 ‘지표 미팅을 이어가기 위한 가장 강력한 모티베이션은 지표 미팅에서 얻은 시드로 실제 지표의 개선을 끌어내는 경험을 해보는 것일 것이다.’라는 이야기를 해보았다.
이번 편에서는 딜라이트룸의 섭스쿼드가 지표 미팅을 통해 발굴한 시드로 실제 지표의 개선을 크게 이끌어 냈던 사례를 하나 살펴보도록 하자. 때마침 해당 사례는 메신저 상에서의 커뮤니케이션이 병행되었던터라 당시 대화 자체를 스크린샷으로 직접 첨부해볼 수 있겠다.
[1/4] 현상 발견과 현상의 명료화
여느 때와 같이 지표 미팅을 준비하는 과정에서 무료체험 전환율(Trial CVR)의 유의미한 하락을 발견하게 되었다. 4분기 동안 누적된 실험군의 승리로 지표가 지속 우상향 하던 추이였기에 당시의 하락은 매우 당혹스러웠다. 내가 모르는 제품내의 특정 변화가 핵심 지표에 영향을 끼치고 있는 것이 분명해 보였다.
핵심 지표인 무료체험 전환율을 엔트리 포인트별로 쪼개서 보니 특정 엔트리 포인트에서의 전환율 하락으로 현상이 뾰족해졌고, 추가로 해당 엔트리에서의 앞뒤 화면 퍼널로 나누어 보니 해당 화면으로의 진입률이 급락한 것이 확인되었다. 이어서 그 시점에 배포되었던 작업 내역들을 섭스쿼드의 안드로이드 개발자께서 직접 확인 및 공유해주셨다.
[2/4] 시드 발굴과 팀간 방향성 싱크
우리 스쿼드의 작업 배포가 없었던 시점이었기 때문에 제품 팀 전체의 집단 지성을 동원해야만 했고 디자인 그룹의 특정 작업이 변인이었을 수 있겠다는 시드를 찾게 되었다. 물론 명확하게 A/B Test를 진행한 것이 아니라 해당 작업이 지표 하락의 원인이라고 100% 확신할 수 없었다. 또한 어찌되었든 해당 작업은 디자인 그룹의 Goal을 달성하기 위해 진행된 작업이었기 때문에 구독 스쿼드의 Goal을 위해 무작정 롤백을 하자는 것도 옳지 않은 솔루션이라 생각되었다.
하여 먼저 발굴된 시드를 기반으로 섭스쿼드 입장에서의 가설을 세웠고 디자인 그룹의 Goal까지 모두 충족시킬 수 있도록 해당 가설을 디자인 그룹과 함께 조정해보았다. 이번 가설은 컨피던스가 꽤나 높았던 터라 해당 수정안을 굳이 A/B Test의 형태로 진행하진 않았고 그대로 모든 유저에게 배포하여 지표의 개선이 나타나는지 전후 비교만 하기로 하였다.
[3/4] 배포 후 지표 모니터링
본 작업은 연초에 다른 굵직하고 헤비한 작업들로 인해 다소 일정이 밀렸고, 3월 초가 되어서야 비로소 배포되었다. 보통 일반적인 A/B Test 진행시에도 실험 결과를 빨리 확인하고 싶어 안달이 나지만, 이번 배포는 정말 더 기다려졌다. 과연 지표 미팅이 이번에도 임팩트 있는 시드를 찾아낸 것일까? 스스로도 궁금해지는 지점이었기 때문이다.
역시나 보조 지표인 화면 진입률은 본 작업 이후로 명확하게 개선되었다.
그렇다면 해당 화면에서 발생하는 무료체험 전환율은 어떠할까.
기상체크 엔트리 포인트에서 뾰족하게 하락했던 무료체험 전환율이, 배포 이후 온전히 회복되었다! 알람파워업에서의 지표도 위와 거의 똑같이 확인되었고 덕분에 본 가설이 팩트였음이 확고해졌다.
[4/4] 회고
핵심 지표가 개선되었다는 것만으로도 매우 기쁜 일이었다. 하지만 이후 더 임팩트 있는 가설을 뽑을 수 있는 시드가 발굴되었다는 것이 더 기뻤다. (어떤 시드였는지 밝힐 수는 없지만) 바로 다른 엔트리 포인트들에도 적용해볼 수 있는 가설이었고 덕분에 엔트리 여러 지면들에서의 핵심 지표 개선을 꾀할 수 있게 되었다.
섭스쿼드는 연말의 갑작스런 무료 체험 전환율 하락에 속수무책으로 당하고만 있지 않았다. 지표 모니터링 덕분에 이를 적시에 목격할 수 있었고 적은 인풋으로 원인을 빠르게 찾을 수 있었다. 또한 다시금 지표를 회복시킬 수 있었을 뿐만 아니라 추가로 임팩트를 낼 수 있는 가설까지 확보할 수 있게 되었다.
최근 4월 초에는 스쿼트 미션과 걷기 미션에서의 무료체험 전환율이 눈에 띄게 올랐다는 것을 지표 모니터링 중에 알 수 있었다. 마찬가지로 퍼널을 앞뒤로 나눠보니, 미션 세팅하는 화면으로의 진입률은 변함이 없는데 진입 이후에 전환율이 지속적으로 높아졌다는 것이 확인되었다. 특이한 건 다른 국가에서는 이 또한 변함이 없는데 유독 미국에서만 올랐다는 점이다.
과연 이 현상 목격을 통해 섭스쿼드가 얻게 될 달콤한 가설은 무엇일까. (두근) 모쪼록 매주 지표 미팅을 준비할 때의 이 두근거림을 다른 그로스 조직(팀)에서도 함께 느꼈으면 하는 마음이다.
마지막으로, 딜라이트룸에서 알라미와 함께 아침을 바꿀 분들을 모십니다 ⏰
>> 여기서 지원하면 입사 축하금이 100만원 👀 <<
Editor 선미’s comment
이 글의 원문은 딜라이트룸(알라미) 테크 블로그에 업로드 된 “그로스 팀의 지표 미팅 (2)”입니다.
중요 지표 하락의 발견부터 원인을 찾고 개선을 하기까지 ‘데이터 분석이 왜 필요한가’에 대해 정석적인 답을 제공해주는 글이라고 생각됩니다. 개인적으로 무언가를 꾸준히 해야할 때 그것을 루틴으로 만들어놓는 것을 중요하다고 생각하는데요. ‘왜 이걸 안했어’라고 매번 얘기하는 것 보다는 그걸 할 수 밖에 없는 환경을 만드는게 뭔가를 지속하는데 더 도움이 되더라구요. 저는 이 팀의 지표 미팅도 이런 맥락에서 아주 좋은 전략이었다고 생각합니다.
딜라이트룸처럼 데이터를 보는 루틴을 만들고 싶은 팀이라면 이전 글도 참고해주세요.
