딜라이트룸
‘그로스 해킹’은 가설 검증 실험의 반복을 통해 핵심 지표의 개선과 관련된 유의미한 레슨을 쌓는 일종의 제품 성장 방법론이다. 지표의 개선을 위한 가설들을 기획하고 → 각각의 임팩트/컨피던스/난이도를 산정하여 우선 순위를 정하고 → 실제 작업을 통해 실험을 배포하고 → 이후 분석을 통해 레슨을 쌓고 후속 가설을 또 쌓는 일련의 반복 프로세스인 것이다.
여타 개발 조직들은 이미 유사 그로스 해킹 협업 프로세스를 가져가고 있지만 막상 그 프로세스 중 하나의 단계인 지표 모니터링에는 소홀한 편이다. 개발 배포 이후 해당 작업의 임팩트를 제대로 측정할 새 없이 바로 대기 중인 다른 백로그를 살펴봐야 하는 리소스가 빡빡한 환경 그리고 백로그 기획의 시드를 데이터로부터 발굴하기 보다는 파트너사/사업부서/경영진으로부터 탑다운으로 내려받는 조직 환경이 주된 이유일 것이다. 각 조직에 맞게끔 협업 프로세스는 튜닝되기 마련이다만 ‘그로스 해킹’ 이라는 단어를 붙일 거라면 지표 모니터링은 팀에서 반드시 챙겨야 할 협업 프로세스이다.
Hacking Growth 에서 말하는 그로스 팀의 지표 미팅이란 ?
션 엘리스의 Hacking Growth에 따르면 최고의 그로스 해킹 팀은 데이터 수집과 분석을 적절하고 정확하게 하는 데 공을 들인다고 한다. 실제로 페이스북의 그로스 해킹 팀은 2009년 1월 모든 개발 실험을 중단하고 한 달 내내 데이터 추적과 수집 역량을 발전시키는 일에만 매진하는 극단적인 조치를 취하기도 했다. 그만큼 제품의 성장을 정의할 지표들에 대한 수집과 관리가 중요하다는 이야기이다. 또한 션 엘리스는 엔지니어, 디자이너 포함 그로스 팀내 모든 구성원들이 팀 핵심 지표의 추이를 함께 살피고 지표 개선의 방향에 대해 능동적으로 의견을 개진할 수 있어야 한다고 했다. 그로스 조직이라 함은 개별 기능 조직의 단순 이합집산(離合集散)이 아니라 특정 지표 개선을 위해 특별히 조직된 미션 조직이기 때문이다.
딜라이트룸 섭스쿼드의 지표 미팅
‘섭스쿼드 (Subs Squad)’는 딜라이트룸 알라미 서비스의 구독 매출의 증진을 담당하는 그로스 조직으로서 지표 모니터링 프로세스를 중요하게 챙기고 있다.
섭스쿼드의 지표 미팅 목적은 2가지이다. 구독 지표들에 큰 문제가 없는지 살피는 것이 그 첫 번째이고 두 번째는 개선의 시드를 발굴하는 것이다. 지표의 등락에 외부 변인의 작용이 크다면 유의미한 시드를 찾기가 어렵겠지만 오로지 제품의 힘으로 매출을 발생시키는 알라미의 구독 매출 특성상 외부 변인보다는 내부 변인의 작용이 크기 때문에 유의미한 시드 발굴이 가능하다. 등락의 요인이 외부 변인으로 판단되는 경우에는 더 이상의 추가 분석을 생략하곤 한다.
문제가 없는지 살펴보는 지표
이는 구독 매출과 직접 관련되는 4가지 핵심 지표이다. (구독 수익화의 기본 지표 이해하기 (1) 참고)
- 무료체험 전환율(Trial CVR)
- 결제 전환율(T2P CVR)
- 코호트별 구독 이탈율(Cohorted Churn rate)
- 구독 월환산 매출(Monthly Recurring Revenue)
개선의 시드를 발굴하기 위해 살펴보는 지표
이를 위해서는 핵심 지표에 영향을 끼치는 세부 지표들을 살펴야 한다. ‘엔트리포인트별 무료체험 전환율’, ‘주요 엔트리 포인트까지의 퍼널별 이탈율’, ‘구매화면 내에서의 퍼널별 이탈율’ 등이 그 예시이며 때에 따라 커스텀하게 필요한 지표들을 살펴보곤 한다. (데이터의 늪은 마성의 매력이 있는지라, 깊게 살펴보다보면 2시간은 훅 지나가 있고 그닥 상관없는 데이터들을 살필 때가 더러 있어 적당히 시간을 끊고 수면 위로 올라오는 결단력이 요구된다.)
매주 목요일 아침, 모든 팀 멤버들 (iOS Engineer, Android Engineer, Product Designer, Product Manager)이 모여 적게는 30분 길게는 50분 정도 지난 주차의 지표 데이터를 살핀다. 이 때의 모니터링 노트는 PM 이 미리 준비해온다. 위 목적에 맞게끔 핵심 지표들의 이상 유무를 살피고 관련된 시드 발굴을 위해 추가적으로 살펴본 데이터들을 보기 좋게 정리해온다. 지표 미팅 자리에서 멤버들은 정리된 노트를 보며 지표 변화에 영향을 끼쳤을 여러 가설들을 제시하고 각각에 대해 서로 피드백을 주고 받는다.
“승리 실험군 베이스라인으로 20% 정도 개선이 전반적으로 나타난 것 같아요.”
“지난 배포에 타 그룹에서 이런 작업들이 포함되었는데, 인지 부조화를 야기한 것은 아닐까요.”
“미국의 추수감사절 휴무 기간으로 인해 인게이지먼트들이 낮아진 것 같아요.”
조금 터무니 없게 들릴 수 있는 가설일지라도 편하게, 자유롭게 공유한다. 그러한 자유로운 사고의 부유(浮游)가 전제되어 있는 덕분에 섭스쿼드의 지표 미팅은 항상 몰입도가 높고 다채로운 가설들이 발굴되곤 한다. 마지막으로 지표 미팅은 위 두 가지 목적을 달성하는 것과 별개로 팀 멤버들이 하나의 공동된 목표 의식을 유지하게끔 해준다. 지표 미팅은 제품 성장의 가설을 찾기 위한 기반 프로세스일 뿐 아니라, 진정한 의미에서의 팀 시너지를 낼 수 있는 기반을 닦아주는 프로세스이기도 한 셈이다.
지표 미팅은 언뜻보면 고된 일이기도 하고 제법 귀찮은 일이다. 매번 동일한 데이터를 그리 적지 않은 시간을 들여 살피는 것 대비 뾰족하게 시드를 찾기는 쉽지 않기 때문에, 무의미한 형식적인 업무 같다는 느낌이 들기 쉽다. 혹여나 이와 같은 매너리즘에 빠진 그로스 팀이 있다면 아래 세 가지를 짚어보면 좋겠다.
- [Relevant Data] 핵심 지표에 직결되는 데이터들을 살피고 있는가: 뾰족한 시드를 찾기 위해서는 핵심 지표에 강하게 영향을 끼치는 보조 지표들을 제대로 정의해야 한다.
- [Monitoring Efficiency] 모니터링 프로세스를 효율적으로 가져가고 있는가: 자주 살피게 되는 보조지표를 포함하여, 자주 거치게 되는 지표 가공 프로세스가 있다면 반복되는 부분들을 자동화 해두어 모니터링 공수를 최소화 해야 한다.
- [Team Engagement] 팀 멤버 전체가 다함께 몰입하고 있는가: 시드 발굴은 여러 각도에서의 의견 제시가 수반되어야 한다. 멤버 중 누군가는 퍼널에 기반하여 지표를 바라보는 경향이 있고, 다른 누군가는 유저 속성에 기반하여 지표를 해석하는 경향이 있을 수 있다. 또 지표 미팅을 준비하는 사람 입장에서는 간혹 지표 분석 과정에서 데이터에 지나치게 매몰되어 거시적인 관점을 취하기 어려울 때가 있다. 팀 멤버들이 함께 몰입하여 편향된 시각 내지는 협소한 시야에 갇히지 않게끔 인풋을 줘야 한다.
위 3가지 보다도 지표 미팅을 이어가기 위한 가장 강력한 모티베이션은 지표 미팅에서 얻은 시드로 실제 지표의 개선을 끌어내는 경험을 해보는 것일 것이다. 바로 다음 글을 통해 딜라이트룸의 섭스쿼드가 지표 미팅을 통해 발굴한 시드로 실제 지표의 개선을 크게 이끌어 냈던 사례를 하나 살펴보도록 하자!
마지막으로, 딜라이트룸에서 알라미와 함께 아침을 바꿀 분들을 모십니다 ⏰
>> 여기서 지원하면 입사 축하금이 100만원 👀 <<
Editor 선미’s comment
이 글의 원문은 딜라이트룸(알라미) 테크 블로그에 업로드 된 “그로스 팀의 지표 미팅 (1)”입니다.
이제 막 지표를 보기 시작해서 노하우가 필요하거나, 구성원들과 함께 지표를 보고는 있지만 루틴이 정해져있지 않아 매주 혼란스러운 미팅으로 시간을 낭비하고 있다면 이 글을 꼭 읽어보세요.
저는 이 글에서 지표 미팅의 목적을 2가지로 명확하게 나누어 본 부분이 가장 흥미로웠어요. 첫 번째는 구독 지표들에 문제가 없는지 살피는 것, 두 번째는 개선의 시드를 발굴하는 것이었습니다. A/B 테스트에도 비슷한 개념이 있어요. 흔히 A/B 테스트의 지표라고 하면 성공 지표를 떠올립니다. 성공 지표란 테스트로 개선을 만들어내고 싶은 지표예요. 예를 들면, 특정 버튼의 페이지 뷰 대비 클릭 비율 같은 것이 성공 지표가 될 수 있겠죠. 그런데 A/B 테스트에서 성공 지표만큼이나 중요한게 가드레일 지표(Guardrail Metric)입니다. 실험으로 인해서 감소하면 안되는 지표들을 가드레일 지표라고 합니다. 실험을 통해서 어느 부분에서 성공을 이뤄내는 것도 중요하지만(성공 지표), 중요한 다른 지표들의 손해를 감수하면서까지(가드레일 지표) 할 만한 것인가를 생각해봐야 한다는거죠. 딜라이트룸 그로스팀이 바라보는 지표들도 비슷한 구조를 가지고 있다는 점이 흥미롭지 않나요?
