당근
프로덕트 데이터 분석가는 어떤 일을 하는가
안녕하세요. 당근마켓 중고거래팀 그로스파트에서 데이터 분석을 하고 있는 매튜라고 해요.
당근마켓은 월 1500만 명이 쓰는 서비스로 성장했어요. 당근마켓은 기능적으로 보면 중고거래 서비스이지만, 커뮤니티의 성격을 많이 가지고 있어요. 당근마켓의 사용자는 상당히 자주 당근마켓을 방문하고 오래 머물러요. 당근마켓이 ‘고유한 가치’를 사용자에게 주기 때문에 이렇게 독특한 형태의 사용 패턴을 보여준다고 생각해요. 이 글에서는 자신만의 길을 개척해가는 당근마켓에서 데이터 분석을 어떻게 하는지 전하려고 해요.
데이터가 왜 중요한지
당근마켓 팀은 처음 ‘판교장터’로 시작했을 때부터 사용자 경험을 가장 중요하게 생각하며 일했어요. 어떠한 기능을 만들 때도 그 기능을 통해 사용자가 정말로 좋은 경험을 하는지 항상 관심을 가지고 디테일하게 경험을 설계해왔어요. 단순하고 간편한 UI와 곳곳에 녹아있는 따뜻한 메시지는 수많은 사용자에 대한 고민에서 나온 결과에요. 사용자의 경험에 관심이 많은 당근마켓 팀은 어찌 보면 당연하게도 데이터에 관심이 많았어요. 데이터는 기본적으로 사용자에 대한 정보이거든요.
데이터가 중요한 다른 이유가 또 있어요. 당근마켓 팀은 신뢰와 충돌의 문화가 강한 팀이기 때문에 팀원 각자가 자신의 직관에 따른 의견을 강하게 내는 편이에요. 직관은 서비스를 만들 때 상당히 중요하지만, 사실 자주 틀리기도 해요. 만약 데이터 즉 ‘사실’이 없다면, 각자의 직관에 대해서만 이야기를 할 것이고 그러면 논의가 상당히 길어져요. 데이터가 있다면 논의에 대한 방향성이 잡히기 때문에 그 과정이 단순해지면서도 의사결정의 질을 높일 수 있어요.
따라서 당근마켓 팀은 항상 데이터를 중요하게 생각해왔어요. 사용자에 대한 정보를 알 수 있고 ‘사실’을 기반으로 의사결정 즉, data-informed decision making을 할 수 있기 때문이에요. 사용자와 서비스에 대한 데이터를 더 많이 모으고, 데이터의 질이 높아질수록 의사결정의 질 또한 높아져요. 데이터를 통해 사용자가 서비스의 어떤 부분을 좋아하는지, 언제 서비스에 애정을 느끼면서 빠져드는지, 사용자 군 별로 어떤 차이가 있는지와 같은 정보를 알 수 있다고 생각해보세요.
이미 모여있는 데이터를 통해 사용자에 대한 사실을 알아내고 그로부터 의사결정을 할 수도 있지만, 그 방식에는 한계가 있어요. 사용자에 대해서 궁금한 점을 현재 모여있는 데이터에서 얻지 못할 가능성이 높아요. 그럴 때는, 잘 통제된 실험을 통해 사용자에 대해서 궁금한 ‘사실’을 알아낼 수 있어요. 또한 데이터에는 수많은 편향이 녹아 있고 여러 요소 간의 관계가 명확히 드러나지 않아요. 따라서 상황을 통제하고 특정 요소만 변화시켜서 명확하게 요소 간의 관계를 파악할 수 있어요.
A/B 테스트는 사용자나 새로 추가한 기능에 대해서 많은 사실을 알 수 있게 해서 더 나은 의사결정을 할 수 있도록 도와줘요. 서비스를 만들어간다는 것은 수많은 의사결정이 쌓여가면서 결정되는 것이에요. 데이터가 그 의사결정을 하는 과정에 녹아있어서 사용자에게 더 좋은 경험을 줄 수 있는 것이 중요해요.
데이터 분석은 누가 하는지
모든 의사결정 과정에 데이터가 도움을 줄 수 있어요. 하지만 만약 대부분의 팀원이 데이터에 접근해서 인사이트를 얻지 못하면 어떻게 될까요? 전반적인 의사결정의 질이 낮아질 거예요. 따라서 누구나 데이터에 접근할 수 있고, 원하는 데이터를 얻을 수 있는 것은 정말로 중요해요. 따라서 당근마켓 팀에서는 누군가가 데이터에 대한 통로가 되는 것보다는 누구나 자유롭게 데이터에 접근할 수 있는 환경을 만들었어요. 누구나 적절한 데이터 추출 역량을 가지고 있다면 원하는 데이터를 얻어낼 수 있어요.
하지만 데이터 민주화는 어느 정도 현실과 괴리가 있어요. 서비스는 지속적으로 변화하고 발전하기 때문에 그에 따라 데이터 또한 동적으로 변해요. 당근마켓처럼 급성장하는 서비스에서는 새로운 데이터도 많아서 원하는 데이터가 어디에 어떤 형태로 있고 어떻게 변화해왔는지 알기 쉽지 않아요. 데이터 플랫폼을 잘 구축해서 데이터 접근성을 상당히 높여서 데이터에 대한 지식이 없어도 원하는 데이터를 얻을 수 있다고 해도 더 큰 어려움이 있어요.
쌓여있는 데이터에서 원하는 지표를 뽑았다고 해도 그 데이터에서 유용한 인사이트를 뽑아내고 데이터 기반 의사결정을 하는 것은 어려운 일이에요. 제품 개발하는 일처럼 한 번 했다고 끝나는 것이 아니고 정말로 가치가 있는 데이터를 얻으려면 갈고 닦는 과정이 필요해요. 심지어 처음 데이터를 얻었을 때 그 데이터가 틀렸을 때도 정말 많아요. 데이터 기반 의사결정은 ‘사실’을 기반으로 하는데 만약 데이터가 틀리면 어떻게 될까요? 그래서 데이터를 검증하는 일이 중요하고 다각도로 분석을 하는 것이 중요해요.
데이터를 통해 얻어낸 정보가 ‘사실’인지 아닌지 알아내는 일을 간단하지 않아요. 특히 A/B 테스트라고 한다면, 실험을 통해 얻어낸 정보가 ‘우연’인지 아닌지 판단하는 일은 쉽지 않은 일이에요. 많은 플랫폼에서 실험 결과에 대한 해석을 제공하지만, 그 정보만으로 기계적으로 판단할 수 없는 경우가 대부분이에요. 또한 처음부터 결과가 명확한 형태로 나오도록 실험 설계를 잘해야 해요.
데이터 분석가가 아닌 PM, 개발자, 디자이너 모두 원한다면 데이터를 얻을 수 있지만, 거기에 들어가는 노력이 상당해요. 하지만 동적으로 변화하는 데이터의 성질을 이해하면서, 통계적인 지식을 갖추고 원하는 데이터를 빠르게 정확하게 추출하는 건 어떻게 보면 전문적인 영역이라고 할 수 있어요. 따라서 모두가 데이터에 접근해서 원하는 정보를 얻도록 플랫폼을 만들어가면서도, 데이터 분석가가 중요한 의사결정에 지속적으로 기여하는 것이 중요해요.
데이터 분석가가 하는 일
당근마켓 팀에서 데이터 분석가는 서비스를 만드는 목적 조직 안에 속해서 서비스를 만들어가는 과정에서 ‘실시간’으로 의사결정에 기여해요. 따라서 이 롤의 이름을 ‘프로덕트 데이터 분석가’라고 부르고 있어요. 프로덕트 데이터 분석가가 하는 일은 다음과 같아요.
- 데이터 쌓기
- 퍼널 분석
- 지표 트래킹
- A/B 테스트 설계 및 결과 분석
- EDA : 탐색적 데이터 분석
많은 회사나 팀에서 기능을 배포하고 나서야 해당 기능에 대한 데이터를 궁금해하는 경우가 많아요. 서비스를 잘 만들려면 팀이 계속 성장하는 것이 중요한데 그러려면 적절한 피드백 루프가 있어야 해요. 피드백 루프를 만들려면 항상 기능을 배포하고 나서 사용자가 잘 사용하는지 보는 것이 중요해요. 따라서 팀 안에서 데이터 분석가는 사용자가 잘 사용하는지 알아낼 수 있는 데이터를 기능 출시 전에 수집하도록 설계해요.
특정 기능을 배포하고 나서 해당 기능 관련 퍼널 분석을 통해 어떤 단계에서 사용자가 어려움을 겪고 있는지 파악할 수 있어요. 의도와 다르게 사용자가 행동하거나, 예상치 못한 어려움을 사용자가 겪고 있을 가능성은 항상 있어요. 따라서 데이터를 통해 문제를 파악하고 그걸 바탕으로 사용자에게 더 좋은 경험을 주기 위해 기능을 계속 업데이트 할 수 있어요.
A/B 테스트를 통해 해당 기능이 사용자에게 어떤 영향을 끼치는지 확인해볼 수 있어요. 사람의 직관에는 한계가 있기 때문에 각 개별적 기능이 실제로 어떤 결과를 만들지 예측하기 어려워요. 따라서 잘 설계된 실험을 통해 검증하는 것이 중요한데, 실험을 잘 설계하려면 가설부터 잘 만드는 것이 중요해요. 따라서 데이터 분석가는 가설 설정부터 실험 설계, 실험 결과 분석까지 담당해서 A/B 테스트를 팀에 잘 정착시키는 일을 해요.
기능을 배포할 때 데이터를 보는 것 이외에도 서비스와 관련된 중요한 기능들, 지표들을 대시보드로 만들어서 팀원들이 모두 볼 수 있도록 하는 것은 중요한 일이에요. 대시보드는 데이터 분석가에게 있어 제품이라고 볼 수 있어요. 대시보드를 통해 빠르게 서비스의 현황을 파악하고, 시간에 따른 변화를 알 수 있고, 문제를 파악할 수 있다면 팀원들 모두가 데이터 기반 의사결정을 할 수 있어요. 따라서 데이터 분석가는 대시보드를 지속적으로 업데이트함으로써 서비스에 대한 팀원들의 지식을 계속해서 확장하고 있어요.
기능 배포할 때 데이터를 보고 전반적인 제품에 대한 데이터를 팀에게 제공하는 것 이외에도 사용자와 관련된 수많은 데이터를 탐색적으로 분석하는 일 또한 데이터 분석가가 할 수 있어요. 예를 들어, 서비스를 잘 사용하는 사용자와 아닌 사용자 간의 비교 분석을 통해 서비스가 사용자에게 어떤 매력을 주고 있는지를 탐색적으로 분석해볼 수 있어요. 데이터는 금광을 숨긴 산과 같아서 탐색적으로 분석해야 정말로 가치 있는 인사이트를 얻어내곤 해요.
프로덕트 데이터 분석가는 팀 안에서 데이터에 대한 오너십을 가지고 일을 해요. 팀원들과 유기적으로 협력하면서 사용자에 대한 데이터를 통해 함께 인사이트를 얻고, 더 좋은 서비스를 만들어가는 과정에 참여해요.
데이터를 통해 주도적으로 서비스 만드는 과정에 기여하실 데이터 분석가 분을 찾고 있어요!
